header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

FreeToken开源:一张5090跑DeepSeek-V4-Flash,最高25 Token/s

动察 Beating AI 快讯,伯克利、MIT 等研究者开源 FreeToken。这是一个专门为本地设备设计的 MoE(混合专家模型)推理引擎,主要解决超大模型显存装不下的问题。它会把部分权重放在系统内存,并让 CPU 和 GPU 一起参与推理。


FreeToken 会把模型的大量专家权重放在系统内存,只把一部分缓存在显存。遇到显存里没有的专家时,它会根据 PCIe 和 CPU 内存带宽,动态决定是把权重搬到 GPU,还是直接交给 CPU 计算。这样 CPU、GPU、系统内存和 PCIe 可以一起参与推理。


论文实测,一台配备 RTX 5090 的游戏台式机运行 284B 参数的 DeepSeek-V4-Flash,可以达到 22–25 Token/s。这款模型每生成一个 Token 实际只激活约 13B 参数,因此特别适合这种 CPU、GPU 混合推理。


FreeToken 还在 8GB 显存的 RTX 4060 笔记本上把 35B 模型跑到 39.3 Token/s;单张 96GB RTX PRO 6000 则可以运行 753B 参数的 GLM-5.2,速度达到 llama.cpp 的约两倍。项目目前支持超过 20 款 MoE 模型,并已采用 Apache 2.0 许可证开源。

AI 解读
FreeToken开源的直接背景是DeepSeek-V4-Flash的284B参数与13B激活设计——MoE激活参数量仅为总量的4.6%,为CPU+GPU混合推理提供了架构前提。此前antirez的ds4.c已证明128GB Mac可跑V4-Flash,FreeToken将这一思路扩展到PCIe带宽动态调度,本质是让消费级硬件绕过显存墙,把推理成本推向系统内存而非HBM。

真正值得注意的细节是8GB显存笔记本跑35B模型达39.3 Token/s。这暗示MoE架构下,推理瓶颈已从显存容量转向内存带宽调度效率。单卡工作站运行700B级模型,意味着本地推理的模型规模上限正从"百亿"跳向"千亿",云厂商按token计价的推理生意,正被端侧引擎从长尾需求端蚕食。
展开

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
相关推荐
前面的路已经不允许它继续闭着眼睛走了。
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成