header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

Cognition推出FrontierCode:首个衡量代码合并质量的AI评测集

据动察 Beating 监测,Cognition 推出全新智能体代码评测集 FrontierCode,重点评估 AI 生成代码的「可合并性」(Mergeability),而非单纯的运行正确性。评测集联合 Celery、Budibase、uppy 和 Mattermost 等 36 个开源项目维护者共同开发,每项任务均由开发者投入超过 40 小时打磨,用于检验代码测试质量、设计规范、修改范围以及风格规范。

FrontierCode 划分为 Extended(150 项任务)、Main(100 项任务)和 Diamond(50 项最难任务)三个级别。在难度极高的 Diamond 任务集上,当前大模型表现仍有巨大提升空间:表现最好的 Claude Opus 4.8 仅获得 13.4% 的评分,GPT-5.5 获得 6.3% 评分,Gemini 3.1 Pro 获得 4.7% 评分,而开源模型中表现最好的 Kimi K2.6 得分仅为 3.8%。

为了防范大模型通过作弊或投机手段通过测试,评测集引入了多项评估机制,包括要求智能体编写的测试在原始缺陷代码中必须运行失败的反向测试,以及限制修改文件数量与行数的范围约束。开发团队还设计了基于大模型的 mutagent 工具,通过动态调整测试环境包容合理的差异化实现,将评测误判率降至 SWE-Bench Pro 的五分之一。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
新一代的创业者们已经走向台前。摆在他们面前的,是「AI将如何重塑世界」这个远比奥赛更难的考题。
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成