header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

MiniMax M3独立评测:DeepSWE通过率13.3%落后Kimi与GLM

据动察 Beating 监测,独立开发者 @bleysg 发布 MiniMax M3 编码模型在 DeepSWE 长程软件工程基准上的独立实测报告。在包含 113 个真实开源功能开发任务的测试中,模型在 90 分钟常规时限内仅取得 13.3%(15/113)的严格标准通过率,与官方先前在 SWE-bench Pro 基准上宣称的 59.0% 评测成绩相去甚远。在已公布的 DeepSWE 榜单中,M3 的表现落后于国内主流的 Kimi-k2.6(24%)与 GLM-5.1(18%),但领先于谷歌的 Gemini 3.1 Pro(10%)及 DeepSeek V4 Pro(8%)。

具体而言,模型在 JavaScript 任务上的通过率为 40.0%(2/5),TypeScript 为 17.1%(6/35),Go 为 11.8%(4/34),Python 为 8.8%(3/34),而 5 个 Rust 任务全部失败。评测数据表明,在未完全解决的任务中,有 35 个任务的隐藏测试通过率已经超过 90%,被归类为「近乎通过」。另外,全部 113 个任务中仅有 8 次因破坏既有代码而导致失败,表明模型倾向于生成保守补丁,不易引发回归缺陷。

但与较好的代码防回归表现相比,M3 非常高昂的运行开销成为显著短板。在 DeepSWE 基准下,模型解决单个任务的运行步骤中位数高达 325 步,输出 Token 中位数达 8 万个,单任务平均成本中位数高达 7.48 美元。高昂的资源开销表明,相比主流前沿模型,M3 在计算效率上仍有很大的提升空间。测试报告指出,如果放宽运行时间限制,模型的扩展时限通过率可提升至 16.8%(19/113),共额外解决 4 个耗时超过 90 分钟的多文件复杂任务。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
钱少,卡少,人少,反而逼出了极致的工程能力和架构创新。
不靠品牌,不靠宣传,8天时间让开发者用脚投票
高盛看好MiniMax靠新品和成本优势修复估值
英伟达在中国大模型训练的护城河,从「必要」降级为「可选」
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成