header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

MiniMax M3.1 Flash陷刷榜争议:老题接近满分,新题几乎零分

动察 Beating AI 快讯,大模型评测博主「猫老板」测试 MiniMax M3.1 Flash 时发现,模型在老题上接近满分,换成新题却接近零分。模型平均每题要消耗数万 Token,但一些难题只用了约 1 万 Token 就能答对。这种反常的表现,让人怀疑模型是不是提前记住了部分题目的答案。


猫老板长期维护「致知」大模型排行榜,使用不公开的私人题库,主要测试逻辑、数学和编程能力。题库通常维持在 28 道题、270 个测试用例以内,每月更新部分题目,每道题测试 3 次,同时统计最高成绩和中位成绩。这次 M3.1 Flash 的中位分数达到 51.76,比上一代 M3 的 23.86 提高一倍以上,接近最新 DeepSeek V4.1 Flash 1017 的 56.03。


一些开发者怀疑,模型可能针对旧题进行了专门训练,而没有真正掌握解题方法。这种为提高评测成绩而专门优化模型的做法,被称为 Benchmaxxing。

AI 解读
MiniMax 昨日将匿名走红的 Space Bunny 正名为 M3.1 Flash,API 定价最低每百万 Token 0.15 美元,并定于 23 日开源;此前 M3 已靠开源、百万上下文切入编程与 Agent。

猫老板维护的「致知」私题测试却显示,M3.1 Flash 旧题近满分、换新题近零分,中位分仍从 M3 的 23.86 升至 51.76,逼近 DeepSeek V4.1 Flash 1017 的 56.03。9 月 SemiAnalysis 已点名 Gemini 3.8 Flash 等模型过度针对公开评测优化,这类争议正扩散为行业问题。

Token 账更反常:均题耗数万,部分难题仅约 1 万即答对,更像记住旧题路径。23 日开源后权重可复现,Benchmaxxing 将从榜单口水变成部署前的可信度折价。
展开
举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成