header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP

Fireworks AI推出训练平台预览版,支持万亿参数全参数训练

1M AI News 监测,AI 推理基础设施公司 Fireworks AI 发布 Fireworks Training 预览版,从纯推理平台扩展为训练与部署一体化平台。Fireworks AI 由曾参与构建 PyTorch 的前 Meta 工程师乔琳(Lin Qiao)创立,目前估值 40 亿美元,日处理 token 量达 15 万亿。

平台提供三个层级:

1. Training Agent:面向无 ML 基础设施的产品团队,描述任务、上传数据即可完成从训练到部署全流程,目前仅支持 LoRA
2. Managed Training:面向 ML 工程师,支持 SFT、DPO 和强化学习微调,含全参数训练
3. Training API:面向研究团队,可自定义损失函数和训练循环,支持 GRPO、DAPO 等算法

全参数训练规模从单节点 Qwen3 8B 到 64 块英伟达 B200 上的 Kimi K2.5(万亿参数)。

Fireworks AI 的生产推理客户 AI 编程工具 Cursor、Vercel 和 Genspark 已在该平台上完成前沿强化学习训练。Vercel 为其代码生成产品 v0 训练了自动纠错模型,无错误代码生成率达 93%,其 CTO Malte Ubl 称对比下 Sonnet 3.5 仅为 62%,端到端延迟较此前使用的闭源模型改善 40 倍。Genspark 对万亿参数开源模型 Kimi K2 做强化学习微调以构建深度研究代理,工具调用量提升 33%,成本降低 50%。Cursor 在全球 3 至 4 个集群上分布式完成了 Composer 2 的强化学习训练(目前在 CursorBench 排名第一),训练与生产推理共享同一 GPU 池。

Fireworks AI 强调的核心技术差异化是训练与推理之间的数值一致性。MoE(混合专家)模型在数值上比稠密模型更脆弱,隐藏状态的微小变化可能翻转专家路由并级联放大。Fireworks 为所有支持的模型公布训练与推理之间的 KL 散度值,均低于 0.01。

举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成