动察 Beating AI 快讯,腾讯首席 AI 科学家姚顺雨与混元研究团队在 Reddit 举行公开问答,透露了下一代混元模型的研发计划。
有开发者问,字节跳动、Kimi 等厂商都在探索数万亿参数的大模型,为什么混元仍停留在约 7000 亿参数规模?
腾讯回应,较小但训练扎实的模型也能超越更大的模型,而且训练成本更低。但团队仍然相信 Scaling Law,下一代 Hy 模型将显著扩大参数规模,现有 Hy4 也将通过大规模强化学习继续提升能力。
腾讯还透露了能够在个人电脑上本地运行的小模型路线图。Hy4-mini 已列入计划,更轻量的 Flash-Lite 也将推出。
姚顺雨在 Reddit 问答中的回应带着一处张力:先以"较小但训练扎实的模型能超越更大模型、训练成本更低"解释混元为何停在约 7000 亿参数(Hy4 为 770B 总参、49B 激活),随即又承认仍相信 Scaling Law、下一代 Hy 将显著扩参。真正的变量是字节、Kimi 把参数推向数万亿后,7000 亿档位还能守多久。
下沉这条线走得更快:11 月 16 日才发 224B 总参、12B 激活的 Hy4 flash,5 天后再预告 Hy4-mini 与更轻的 Flash-Lite,并点名个人电脑本地运行。7 月把 Hy3 压到 1bit、单张 H20 可跑是同一逻辑——旗舰扩参守前沿,小模型靠压缩与 64B Engram 记忆参数吃端侧和成本敏感场景。姚顺雨 7 月已把多模态与大语言团队并为基础模型部,扩参与分档会并行推进。