据动察 Beating 监测,ARC-AGI-3 评测机构 ARC Prize 此前要求所有模型使用同一套简单调用方式,避免厂商靠定制框架拉高分数。这样更容易看清模型本身的能力。
回应 OpenAI 的争议测试时,官方口径开始松动。ARC Prize 承认,保留历史推理、压缩过长的上下文,确实能提升模型处理长任务的表现,并已开始研究如何把这类功能加入正式评测。
ARC-AGI 创始人 François Chollet 给出的边界是:专门为 ARC 开发的框架仍然不行;所有 API 用户都能使用的通用设置可以考虑。他认为,各家用了什么设置、花了多少钱,都应该公开。
一旦放行厂商自带的记忆和上下文管理,ARC-AGI-3 比较的就不再只是模型,还会包含各家 API 背后的工程能力。