header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP

代季峰NaiveAI首模开源:AI参与6天跑151轮优化

动察 Beating AI 快讯,清华大学副教授代季峰创办的 NaiveAI 发布 Naive-N0.5-Flash,并开放模型权重。模型基于小米 MiMo-V2.5 Base 改造,使用 MIT 协议开源。


NaiveAI 保留了原有的 MoE 架构,重点改了注意力机制。团队把全局注意力换成滑动窗口注意力和 DeepSeek 稀疏注意力,再继续训练 3.25 万亿 tokens。改造后的模型原生支持 100 万 token 上下文,可以减少处理超长文本时的计算量。


AI 也直接参与了研发。它负责写代码、跑实验、分析结果和继续优化,研究员负责定方向和做关键决定。以推理系统 NaiveRT 为例,团队 6 天跑了 151 轮优化实验,其中 63 轮被采用。


官方公布的最高推理速度为 2122 tok/s,但测试条件比较特殊:使用 8 张 GPU,关闭思考模式,不计算输入处理时间,而且取的是 41 次请求中表现最好的一秒。标准模式下,官方给出的速度约为每位用户 50 tok/s。

AI 解读
代季峰创办的 NaiveAI 以小米 MiMo-V2.5 Base 为底,开源 Naive-N0.5-Flash:保留 MoE,换入滑动窗口与 DeepSeek 稀疏注意力,续训 3.25 万亿 tokens,原生 100 万 token,MIT 权重。这是 DeepSeek V4、小米 MiMo、MiniMax M3 掀起的稀疏注意力开源潮向下游二次改造延伸;小米 MiMo 已 1T 参数 MIT 开源,6 月 UltraSpeed 在 8 卡节点跑出超 1000 tok/s。NaiveAI 的差异是 AI 写代码、跑实验并优化,研究员定方向:6 天 151 轮优化、63 轮采用。

最值得留意测速口径:2122 tok/s 来自 8 卡、关闭思考模式、不计输入、取 41 次请求中最好一秒,标准模式约每用户 50 tok/s。相比可连续服务的 UltraSpeed,这更像峰值 demo;开源基座叠加自动化实验,正把竞争推向推理系统工程与成本。
展开
举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成