据动察 Beating 监测,针对大模型在自我纠错时极易产生盲目自信的通病,Anthropic 团队在机器学习训练挑战中进行对比测试。实验不让 Fable 5 进行自我批判,而是通过 CMA 的 Outcomes 功能在独立上下文窗口中生成一个评分智能体,依据包含 9 项指标的规范文件充当裁判。
结果表明,引入独立裁判的循环设计,让 Fable 5 对训练流水线的改进幅度达到 Opus 4.7 的 6 倍。Fable 5 不仅倾向于尝试重大架构调整,即使遭遇量化回退也能死磕修复,展现出极强的工程韧性。相比之下,Opus 4.7 则因决策局限性,陷入仅按模板微调标量常数的保守状态。
在另一项考察跨会话在线学习的数据库问答实验中,团队利用可共享的挂载文件系统,总结出大模型高效利用记忆的五步法,即记录失败、诊断原因、验证事实、提炼通用规则以及直接检索规则。
对比测试发现,不同模型的表现存在严重阶梯。Sonnet 4.6 仅会敷衍地记录错误和盲目猜测,几乎从不查阅历史。Opus 4.7 能够建立带不确定标记的模式引用,但验证覆盖率仅为 17% 左右。Fable 5 则能够完整走完记忆链条,验证覆盖率高达 73% 并将诊断总结为通用规则。
实验表明,设计出能够响应反馈的自我纠错循环与自主记忆管理,比直接编写提示词引导大模型更具实战价值。