动察 Beating AI 快讯,AI Agent 创业公司 NeoCognition 发布 ApprenticeBench,专门测 AI 能不能像新人一样,入职后自己学会一份工作。第一版让 Agent 进入一家模拟的加州建筑公司做应付账款。它先读半年历史账单、公司手册和 Odoo 教程,再连续处理 7 个月的 100 张账单,期间还会遇到规则变化和主管反馈。
Fable 5.1 最终成功率达到 72%,GPT-6 Astra 为 68%,最佳人类测试者只有 51%。任务除了录发票,还包括发现错误、分配成本码、联系供应商、走审批,以及从历史记录和反馈里学会公司的内部规则。两款模型直接操作 GUI 的成绩甚至略高于调用 API,过去 Computer Use 常见的性能损失基本消失。
不过,「超过人类」只成立于这一个模拟岗位,而且真人样本只有 2 个。成本也更高,Fable 5.1 平均每个任务要 18.23 美元,人类约 7.21 美元。人类越做越快,Agent 反而会因为记的东西越来越多而变慢。