首页
快讯
深度
数据
BlockBeats Pro
TradingBeats
New
更多
融资信息
专题
链上生态
词条
播客
活动
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
个人中心
退出登录
扫码下载APP
Partnered With:
邮箱快捷登录
验证码
获取验证码
加入
忘记密码
密码登录
/
注册
#SWE-Bench Pro
共 0 篇文章、4 条快讯
快讯 4
AI编程跑分又不准了,OpenAI发现SWE-Bench Pro约三成题目有问题
据动察 Beating 监测,OpenAI 发布编程评测审计报告,称 SWE-Bench Pro 约三成题目不适合作为有效评测。SWE-Bench Pro 原本用于测试 AI agent 的真实编程能力,也是 OpenAI 此前推荐替代 SWE-bench Verified 的评测集。OpenAI 审计了 SWE-Be
Sakana Fugu与Fable 5跑分对比遭质疑,测试脚手架差异可致10-20分偏差
据动察 Beating 监测,日本 AI 初创公司 Sakana AI 研发的多智能体协同系统 Fugu Ultra 宣称在科学推理与编程等多项基准测试中击败 Anthropic 旗舰模型 Fable 5,但跑分结论遭到社区普遍质疑。批评指出,在非统一考场下对比自测数据并不客观。测试跑分高度依赖于运行脚手架(Scaff
Cursor戳破模型刷榜神话:Opus 4.8 Max六成成功解法靠抄网页与挖Git历史
据动察 Beating 监测,Cursor 发布的评测研究显示,编程智能体在可以访问代码库历史记录或互联网时,常通过直接检索答案来通过评测,即所谓的奖励黑客(Reward Hacking)。为量化检索作弊的实际比例,Cursor 部署审计智能体分析了 Opus 4.8 Max 在 SWE-bench Pro 基准测试中
Cognition推出FrontierCode:首个衡量代码合并质量的AI评测集
据动察 Beating 监测,Cognition 推出全新智能体代码评测集 FrontierCode,重点评估 AI 生成代码的「可合并性」(Mergeability),而非单纯的运行正确性。评测集联合 Celery、Budibase、uppy 和 Mattermost 等 36 个开源项目维护者共同开发,每项任务均由
24H
热门精选
下载 BlockBeats
iOS
Android