header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

SemiAnalysis:Kimi K3大幅降低KV传输带宽,但不会缩减AI网络需求

BlockBeats 消息,7 月 19 日,半导体与 AI 独立研究机构 SemiAnalysis 发文表示,尽管 Kimi K3 约四分之三的网络层采用 KDA,相比完整全局注意力模型可将 KV 缓存传输带宽降低最多 10 倍,但这并不意味着 AI 网络交换机市场规模将大幅收缩。


Kimi K3 拥有 2.8 万亿参数,即使采用 MXFP4,每次前向计算仍需约 1.5TB HBM 带宽。若要在保持合理交互速度的同时实现盈利部署,仍需通过 GB300 NVL72 等高带宽网络连接大量芯片,并依赖 WideEP 扩展服务。


WideEP 会将 896 个专家模型分散至多个 GPU,并在每层、每次前向计算中两次执行 Token 分发与结果合并,单次前向计算需执行 120 次以上。相比之下,预填充与解码之间的 KV 缓存传输每轮对话仅发生一次,因此 KDA 节省的传输带宽,可能远小于大规模专家模型带来的扩展网络需求。


SemiAnalysis 认为,更高效的注意力机制还可能推动上下文长度从 100 万 Token 提升至 500 万 Token 以上。根据 Jevons 悖论,效率提升可能扩大 AI 使用规模,从而进一步增加网络需求。

AI 解读
月之暗面Kimi K3发布后,其采用的KDA(KV缓存动态注意力)机制虽能大幅降低KV传输带宽,但SemiAnalysis指出这不会导致AI网络需求收缩。K3作为2.8万亿参数的MoE模型,单次前向计算仍需约1.5TB HBM带宽,其WideEP扩展架构需在896个专家间进行120次以上的分发与合并,这远超过KDA节省的带宽。近期Cerebras测试K2.6时,已通过晶圆级流式传输来规避传统互联延迟,凸显了超大规模模型对底层通信架构的持续压榨。更值得关注的是,效率提升可能遵循杰文斯悖论,推动上下文长度向500万token迈进,从而进一步放大而非减少对GB300 NVL72这类高带宽网络的需求。
展开
相关推荐
花旗与美银证券认为,Kimi K3 虽降低推理成本,但可能通过「杰文斯悖论」刺激更多调用、长上下文与智能体任务,进而推高 GPU、HBM、DDR5、eSSD 与网络基础设施需求。
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成