header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

ARC-AGI-3 评测机构考虑改规则:官方榜或允许厂商自带记忆

据动察 Beating 监测,ARC-AGI-3 评测机构 ARC Prize 此前要求所有模型使用同一套简单调用方式,避免厂商靠定制框架拉高分数。这样更容易看清模型本身的能力。

回应 OpenAI 的争议测试时,官方口径开始松动。ARC Prize 承认,保留历史推理、压缩过长的上下文,确实能提升模型处理长任务的表现,并已开始研究如何把这类功能加入正式评测。

ARC-AGI 创始人 François Chollet 给出的边界是:专门为 ARC 开发的框架仍然不行;所有 API 用户都能使用的通用设置可以考虑。他认为,各家用了什么设置、花了多少钱,都应该公开。

一旦放行厂商自带的记忆和上下文管理,ARC-AGI-3 比较的就不再只是模型,还会包含各家 API 背后的工程能力。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成