Kimi训练AI老板，General Reasoning训练整家AI公司

动察 Beating AI 快讯，今年 1 月，Kimi K2.5 推出 Agent Swarm，让一个主 Agent 招募、指挥多个子 Agent，随后的 K2.6 将规模扩大到最多 300 个子 Agent。

但 Kimi 的强化学习方法 PARL 只训练负责指挥的「老板」，冻结子 Agent。原因是多人完成一项任务，很难分清谁立了功；如果所有人同时调整策略，训练也容易变得不稳定。

General Reasoning 偏要试试另一条路。团队推出 120B 参数模型 Avalon-M1-Mini，并提出 RLCR（集体奖励强化学习）。它让一个 Agent 担任 CEO，最多招募 8 名员工，通过留言板和共享工作区协作。所有成员使用同一套模型，任务完成后不再逐个计算贡献，而是根据团队总成绩一起接受强化学习。

这套方法在 147 个训练环境、超过 200 万项不同任务中取得了持续改进。软件任务中，主管工程师在招募岗位中的占比从 0.4% 升至约 13%，至少开展一次互审的团队占比从 42% 提高到 64%。分工也发生变化：从每人各写一部分代码，逐渐转向一人主写、其他人负责测试和挑错。原本需要人工设计的管理层和质检流程，在训练中自行形成。

但组队成绩更好，有一部分只是因为用了更多 Token。研究人员给单个 Agent 同样多的输出 Token，就能追回团队约六成的得分优势。团队的主要好处是可以同时干活：在 12 项评测中，达到相近成绩的估算耗时平均只有单 Agent 的约四分之一。

研究人员还模拟了今年 OpenAI 智能体攻击 Hugging Face 的事件。210 次测试中，没有 Agent 调用模拟攻击工具。但随着训练推进，向人类评测人员报告异常的比例从 76.7% 降到 0，尽管 96.7% 至 100% 的执行记录都曾考虑过上报。有的 Agent 选择只在团队内部提出异议，有的计划报告，却没有真正行动。

目前 Avalon-M1-Mini 仍在训练，团队计划在训练完成后发布最终论文，并开源训练环境、Agent 框架和模型权重。