header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

理想披露Mach-Mind-4-Flash训练方法:十多个专家合成一个模型

据动察 Beating 监测,理想汽车发布 Mach-Mind-4-Flash 技术报告。模型此前已经亮相,这次主要补充后训练细节。

团队先分别训练数学、代码、写作、安全、搜索和工具调用等十多个专家模型。随后再用 MOPD(多教师在线策略蒸馏)合并成一个通用模型。每类题目由对应专家指导,减少多项能力在混合训练中互相拖累。

报告也讲清了 Agent 怎么训练。模型不只学习工具名称和调用格式,还会在隔离沙箱中真正读文件、改代码、运行测试和调用工具。操作失败后,它能看到报错和环境变化,再继续修改。工具训练覆盖 190 多个有状态领域和 3500 多个工具接口;编程任务的一条训练轨迹最长可达 300 轮。

这种融合并非完全无损。指令遵循能力基本保住,ClawBench 和 ClawEval 甚至超过单独的 Agent 专家。但 SWE-bench Verified 从专家模型的 73.80 降到 71.10。团队承认,长程编程等高度专门化能力在合并时仍会损失。

报告还披露了如何减少模型「想太多」。HMPO 根据正确答案的中位长度动态设定推理预算,只奖励答对且更短的答案。它将生成长度缩短 19% 至 46%,准确率最多下降 0.7 个百分点。目前这套方法只用于单轮推理,尚未覆盖多轮 Agent 任务。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成