header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

Databricks拿真实代码库测Agent,GLM 5.2进第一梯队

据动察 Beating 监测,Databricks 发布内部 AI 编程 Agent 评测,用自家数百万行代码库里的真实 PR 做测试。

这套评测没有直接用 SWE-Bench。Databricks 认为公开题集可能进过训练数据,也不够贴近真实工程。

测试任务来自近期合并的 PR,覆盖 Python、Go、TypeScript、Scala 等语言。团队过滤了机器人提交、AI 生成代码和自动生成代码,只保留能验证结果的任务。

结果显示,编程 Agent 已经分出大致三档。最高一档不只包括 OpenAI 和 Anthropic 模型,也包括开源模型。GLM 5.2 进入第一梯队,质量上与 Opus 4.8 接近,单任务成本为 1.28 美元,低于 Opus 4.8 的 1.94 美元。

评测还发现,Token 单价不能直接代表真实成本。Sonnet 5 每 Token 更便宜,但在这套任务里跑得更久、读得更多,单任务成本反而更高。

工具壳也很关键。同一模型换不同 Agent 框架,任务成本最高可差 2 倍以上,但完成质量变化不大。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
Agent元宇宙正在掀起一场革命,用AI agent和代币化把Web3游戏玩出新花样
不到一个月的时间,整个 AI Agent 赛道项目的市值曾达到百亿美元。
AI Agent 与 DeSci 的叙事能否贯穿新的一年?
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成