header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

OpenAI研究员Noam Brown倡导引入推理算力曲线,单一跑分已无法衡量前沿大模型

据 动察 Beating 监测,OpenAI 研究员 Noam Brown 发表观点指出,随着 AI 模型性能的提升,衡量模型好坏的基准测试分数,正逐渐被推理时算力(即模型回答问题时消耗的计算资源)主导。单一的静态分数已经无法体现强模型的真实水平,未来的评估标准需要转向以推理算力或生成 Token 数量为横轴的性能扩展曲线。

Noam Brown 以新模型 GPT-5.5 的测试过程为例,在最初的常规测试中,GPT-5.5 相比 GPT-5.4 优势并不明显。然而,一旦分配了更多的推理算力,GPT-5.5 的表现便迎来爆发式增长。如果限制了运行预算,标准测试就无法反映前沿模型的真实上限。类似的性能扩展表现已被多项外部评估所证实。在 Andrej Karpathy 的智能体自主研究实验,以及英国 AI 安全研究所的恶意网络测试中,随着推理预算的增加,GPT-5.5 与 Mythos 模型的表现持续走高,即使在生成超过 100M 个 Token 后依然没有触及天花板,且越强大的模型在投入更多算力时性能提升越显著。

推理算力的提升也让安全评估变得更加复杂。Noam Brown 警示称,目前的生物或网络安全评测通常没有固定推理预算。在国家级对手为特定任务投入超过 1000 万美元推理预算时,原本看似安全的模型可能跨越危险红线。大模型厂商发布新模型时应主动公开以 Token 数量、算力成本或运行时间为横轴的性能曲线,评测机构也需要将推理预算列为评估的核心变量,在安全评估中通过低算力测试向外推算安全边界。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
微软从「OpenAI的唯一渠道」变成了「OpenAI的大客户之一」
Anthropic更早押注AI编程,OpenAI战略节奏错位
OpenAI与Anthropic,既生瑜何生亮?
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成