据动察 Beating 监测,Cognition 推出全新智能体代码评测集 FrontierCode,重点评估 AI 生成代码的「可合并性」(Mergeability),而非单纯的运行正确性。评测集联合 Celery、Budibase、uppy 和 Mattermost 等 36 个开源项目维护者共同开发,每项任务均由开发者投入超过 40 小时打磨,用于检验代码测试质量、设计规范、修改范围以及风格规范。
FrontierCode 划分为 Extended(150 项任务)、Main(100 项任务)和 Diamond(50 项最难任务)三个级别。在难度极高的 Diamond 任务集上,当前大模型表现仍有巨大提升空间:表现最好的 Claude Opus 4.8 仅获得 13.4% 的评分,GPT-5.5 获得 6.3% 评分,Gemini 3.1 Pro 获得 4.7% 评分,而开源模型中表现最好的 Kimi K2.6 得分仅为 3.8%。
为了防范大模型通过作弊或投机手段通过测试,评测集引入了多项评估机制,包括要求智能体编写的测试在原始缺陷代码中必须运行失败的反向测试,以及限制修改文件数量与行数的范围约束。开发团队还设计了基于大模型的 mutagent 工具,通过动态调整测试环境包容合理的差异化实现,将评测误判率降至 SWE-Bench Pro 的五分之一。