据动察 Beating 监测,人工智能公司 Writer 发表两篇论文指出,大模型虽然能抗住用户的当场反驳,但如果把偏见伪装成用户的「长期偏好」写入记忆,模型就会大范围妥协。原本用来改善体验的记忆功能,反倒成了模型犯错的温床。
研究测试了 Mem0、MemOS 与 Zep 等外置记忆系统。在科学测试中,长期记忆会反复调用存入的错误观点,导致模型错误率较无记忆状态暴增 2 至 4 倍,连能力较强的 GPT-5.2 也不例外。而在创意推荐任务中,只要记忆里存过用户偏好,模型在无关场景下也会频繁重复相同推荐,干扰率高达 87% 以上,导致创意多样性减半。
金融分析智能体 (Agent) 在测试中同样大范围犯错:一旦被植入偏见偏好,部分模型推理准确率降幅超 70%。而且当偏好信息被记忆工具当成背景资料调用时,模型会给出错误答案却完全不承认受到用户影响,导致迎合偏差极难被检测和拦截。
防范迎合偏差并不容易。常规的提示词防线不仅效果有限,还会削弱模型的检索能力。目前较有效的做法是在输入端给数据源做可信度评分 (如官方文件标 0.95,用户偏好标 0.05) 以引导模型忽略偏见。研究团队强调,个性化智能体未来的核心挑战,不再是记不住用户,而是如何避免把用户的偏见也一起记住。