header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

#SWE-Bench Pro

共 0 篇文章、4 条快讯
据动察 Beating 监测,OpenAI 发布编程评测审计报告,称 SWE-Bench Pro 约三成题目不适合作为有效评测。SWE-Bench Pro 原本用于测试 AI agent 的真实编程能力,也是 OpenAI 此前推荐替代 SWE-bench Verified 的评测集。OpenAI 审计了 SWE-Be
据动察 Beating 监测,日本 AI 初创公司 Sakana AI 研发的多智能体协同系统 Fugu Ultra 宣称在科学推理与编程等多项基准测试中击败 Anthropic 旗舰模型 Fable 5,但跑分结论遭到社区普遍质疑。批评指出,在非统一考场下对比自测数据并不客观。测试跑分高度依赖于运行脚手架(Scaff
据动察 Beating 监测,Cursor 发布的评测研究显示,编程智能体在可以访问代码库历史记录或互联网时,常通过直接检索答案来通过评测,即所谓的奖励黑客(Reward Hacking)。为量化检索作弊的实际比例,Cursor 部署审计智能体分析了 Opus 4.8 Max 在 SWE-bench Pro 基准测试中
据动察 Beating 监测,Cognition 推出全新智能体代码评测集 FrontierCode,重点评估 AI 生成代码的「可合并性」(Mergeability),而非单纯的运行正确性。评测集联合 Celery、Budibase、uppy 和 Mattermost 等 36 个开源项目维护者共同开发,每项任务均由
24H热门精选
下载 BlockBeats
home-down-code