header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

腾讯混元Hy4重做底层:DeepSeek稀疏注意力+智谱IndexCache一起上

动察 Beating AI 快讯,腾讯混元 Hy4 preview 这次除了把模型做大,底层架构也大改了一轮。上一代 Hy3 使用传统全注意力,Hy4 改成了 Gated DSA,也就是 DeepSeek Sparse Attention 的门控版本。模型面对超长文本时,不再把前面所有内容都重新算一遍,而是先挑出最相关的部分重点处理。


Hy4 还给 DSA 加上了 IndexCache。模型每一层原本都要重新判断「哪些内容最重要」,现在部分层可以直接复用前面已经挑好的结果,少做很多重复计算。


腾讯明确表示,这套设计受到 DeepSeek 和 GLM 启发。


另一处变化是残差结构。传统 Transformer 可以粗略理解成只有一条信息主干,Hy4 用 iHC 把它扩成了 4 条,让模型在很深的网络里能同时保留更多信息。MoE 专家数量也从 Hy3 的 192 个增加到 256 个路由专家 + 1 个共享专家,每个 Token 选择 8 个路由专家,同时始终经过共享专家。

AI 解读
腾讯混元Hy4把DeepSeek的DSA和智谱的IndexCache同时装进底层,这是继4月DeepSeek V4开源确立稀疏注意力路线后,国内头部厂商首次在旗舰模型上明确跟进。姚顺雨主导的Hy3四月才发布,四个月内推翻重做注意力架构,说明长上下文场景下全注意力方案已被判死刑,行业正式转入稀疏注意力军备竞赛。

值得注意的细节是腾讯公开承认设计受DeepSeek和GLM启发。过去混元一直强调自研,此次点名致敬对手,相当于承认DeepSeek开源路线已成为行业底层基础设施,也侧面印证开源模型对闭源厂商的架构输出能力已不可逆。
展开

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
于是我们奋力向前划,逆水行舟,被不停地推回过去。
2022年前后,腾讯区块链突然在与阿里系的竞争中溃败下来,并消失在国内区块链版图中。如今,在新的Web3和虚拟资产领域,腾讯已经全面退守,而来到Web3「组团创业」的腾讯员工则开始崭露头角。
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成