header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

AA-Briefcase发布:Claude Fable5夺冠,GLM-5.2挤进前三

据动察 Beating 监测,评测机构 Artificial Analysis 推出首个专为大模型智能体设计的长周期知识工作评测基准 AA-Briefcase。评测包含数据科学、产品管理、银行业务运营及重工业战略四个场景,由来自谷歌、麦肯锡和波士顿咨询的行业专家开发,共设有 91 项任务,旨在模拟真实复杂的商业项目流。

基准通过客观题、分析质量和排版展示三个维度进行双人对战及基准评测。结果显示,Anthropic 旗下的 Claude Fable 5 取得了最高综合评分 AA-Briefcase Elo,Claude Opus 4.8 (max) 与 GLM-5.2 (max) 分列第二与第三位。即便强如 Claude Fable 5,在严格的单项任务全对标准下,完美率也仅有 3%,且在 91 项任务中有 31 项没有任何模型能取得 50% 以上的分数。

在开源模型方面,智谱 GLM-5.2 (max) 表现突出,综合评分仅比 Claude Opus 4.8 (max) 低 90 分,但运行成本不足 Claude Opus 4.8 (max) 的 25%。运行成本在不同模型间差异悬殊,DeepSeek V4 Flash 单次任务成本仅为 0.04 美元,而最贵的 Claude Fable 5 超过 31 美元。分析显示,视觉检查能力对提升交付成果的排版质量至关重要,领先排版评分的 Claude Fable 5 和 Claude Opus 4.8 (max) 每次任务平均分别调用 21 次和 12 次图像查看工具。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成