header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

让AI迁移整个代码库,94.6%没过关:20项任务13项无人做成

动察 Beating AI 快讯,AI Agent 公司 Einsia 发布 SWE Refactor Bench,专门测 Coding Agent 能不能自己迁移整个代码库。20 个任务来自 SQLite、zlib、libsodium、GraphHopper 等真实项目,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每项给 Agent 6~30 小时。


评测第一关检查旧技术栈是不是真的被替掉,防止 Agent 留着旧代码混过去;第二关跑超过 13 万项固定检查;最后再派 6 个独立 Coding Agent,各花 1 小时专门找隐藏 bug。


8 个前沿模型、26 种配置一共跑了 520 次。340 次确实完成迁移,88 次把预先准备的测试全部跑绿,但其中 60 次又被最后一轮找出了隐藏 bug。最终只有 28 次完全过关,通过率 5.4%;20 个任务里有 13 个没人做成。Claude Opus 5 的 xhigh 配置最好,20 个任务完整通过 5 个。


现在的 Coding Agent 已经能大规模改代码,但要做到「整个系统改完还能完全不出错」,还差得很远。

AI 解读
SWE Refactor Bench 补上了编程基准里最贵的一块拼图。SWE-bench 测的是单点修 bug,ProgramBench 测从零重建,但真实企业里最危险的动作是整体迁移:换语言、换构建系统、跨运行时移植。Einsia 用 5.4% 的通过率量化了这道鸿沟——Agent 能大规模产出代码,但系统性重构的可靠性仍是盲区。

值得注意的不是通过率本身,而是测试设计。新基准引入「6 个独立 Agent 互查」的环节,让 Agent 审 Agent。这反向承认了当前模型的自校对能力不可信,只能靠外部冗余来兜底。Claude Opus 5 的 xhigh 也只是相对最好,20 个任务里 13 个无人完成。Coding Agent 的竞争正从单次生成准确率,转向长程任务中的一致性维持。
展开

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成