header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

腾讯混元下一代模型将大幅扩参,Hy4-mini、Flash-Lite也在路上

动察 Beating AI 快讯,腾讯首席 AI 科学家姚顺雨与混元研究团队在 Reddit 举行公开问答,透露了下一代混元模型的研发计划。


有开发者问,字节跳动、Kimi 等厂商都在探索数万亿参数的大模型,为什么混元仍停留在约 7000 亿参数规模?


腾讯回应,较小但训练扎实的模型也能超越更大的模型,而且训练成本更低。但团队仍然相信 Scaling Law,下一代 Hy 模型将显著扩大参数规模,现有 Hy4 也将通过大规模强化学习继续提升能力。


腾讯还透露了能够在个人电脑上本地运行的小模型路线图。Hy4-mini 已列入计划,更轻量的 Flash-Lite 也将推出。

AI 解读
姚顺雨在 Reddit 问答中的回应带着一处张力:先以"较小但训练扎实的模型能超越更大模型、训练成本更低"解释混元为何停在约 7000 亿参数(Hy4 为 770B 总参、49B 激活),随即又承认仍相信 Scaling Law、下一代 Hy 将显著扩参。真正的变量是字节、Kimi 把参数推向数万亿后,7000 亿档位还能守多久。

下沉这条线走得更快:11 月 16 日才发 224B 总参、12B 激活的 Hy4 flash,5 天后再预告 Hy4-mini 与更轻的 Flash-Lite,并点名个人电脑本地运行。7 月把 Hy3 压到 1bit、单张 H20 可跑是同一逻辑——旗舰扩参守前沿,小模型靠压缩与 64B Engram 记忆参数吃端侧和成本敏感场景。姚顺雨 7 月已把多模态与大语言团队并为基础模型部,扩参与分档会并行推进。
展开
举报 纠错/举报

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成