微软完成2.8万亿参数模型预训练：比GPT-5.6基座更强，算力仅用1/4

动察 Beating AI 快讯，微软宣布完成新一代自研模型 MAI-Base-2 的预训练。模型总参数达 2.8 万亿，采用 MoE 混合专家架构，每次仅激活 800 亿参数。

今年 8 至 9 月，微软动用 1.6 万张 NVIDIA GB200 GPU，训练了 38 天，处理约 50 万亿 Token。新模型还首次引入原生视觉预训练，视觉数据占训练量的 18%。

微软公布的内部测试显示，MAI-Base-2 在代码、问答、数学和理工学科的文本预测指标上，超过 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8 等模型。

微软还宣称，如果只想训练出 DeepSeek-V4-Pro-Base 同等水平的模型，自己的方法只需花费约 1/4 至 1/12 的算力。但微软继续投入更多算力，把模型做得更大、更强。MAI-Base-2 实际消耗的训练算力仍高于 DeepSeek。

微软 AI 负责人 Mustafa Suleyman 在 10 月 15 日的内部会议上称，MAI-Base-2 的预训练基座已经强于支撑 GPT-5.6 Sol 的 OpenAI 模型，而训练算力仅为后者的四分之一。

微软改进了 MoE 专家调度、Muon 优化器和数据筛选方法，减少显存浪费，提高大规模训练的稳定性。微软还强调，所有训练数据都由自己处理，没有通过蒸馏其他公司的模型获取能力。

MAI-Base-2 目前仍在后训练阶段，微软计划先将其用于自家产品，再通过 Foundry 向企业合作伙伴授权模型权重。