header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

AI开始自动改Agent Harness了:Opus 5四项拿三项第一

动察 Beating AI 快讯,Scale AI 推出 HarnessOpt-Bench,专门测试 AI 能不能自己修改 Agent 的 harness,把另一个 Agent 调得更强。

Harness 就是包在模型外面的那套程序,包括 prompt、工具、记忆和工作流程。测试时,AI 会拿到一个故意没有充分优化的 harness,根据跑分和失败案例不断改代码,但里面的模型本身不变。

改完之后,Scale 再拿一批它从没见过的测试题考试,看改完后的 Agent 到底有没有真的变强。这样可以避免 AI 只针对已知题目刷分。

Scale 用 Claude Opus 5、GPT-5.6 Sol、Kimi K3 等 5 个模型,在 4 类任务上跑了 111 次。Opus 5 表现最好,4 项拿下 3 项第一。

整体来看,负责改 harness 的模型是谁,比它用 Claude Code、Codex 还是 OpenCode 来改代码更重要。

不过这还不是真正的「AI 自我改进」。因为这次是一个 AI 去改另一个 Agent 的 harness,而且起始 harness 本来就故意留了不少优化空间。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成