header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP

英伟达发布Dynamo 1.0:AI工厂的开源「操作系统」,Blackwell推理性能最高提升7倍

1M AI News 监测,英伟达在 GTC 大会上发布 Dynamo 1.0,一款面向生成式和 Agent 推理的开源分布式软件,定位为 AI 工厂的「操作系统」,负责在集群范围内协调 GPU 和内存资源。在最近的行业基准测试中,Dynamo 将 Blackwell GPU 的推理性能最高提升 7 倍。

黄仁勋表示:「推理是智能的引擎,驱动着每一次查询、每一个 Agent 和每一个应用。通过 Dynamo,我们创造了 AI 工厂的首个'操作系统'。」

Dynamo 通过智能「流量调度」将推理任务拆分到多个 GPU 上,并在 GPU 与低成本存储之间动态搬运数据,减少浪费、缓解内存瓶颈。对于 Agent AI 和长提示场景,Dynamo 可将请求路由到已缓存相关上下文的 GPU 上,不需要时再卸载缓存。核心组件包括 KVBM(内存管理)、NIXL(GPU 间高速数据传输)和 Grove(简化扩展),均可作为独立模块使用。Dynamo 已与 LangChain、llm-d、LMCache、SGLang 和 vLLM 等开源框架原生集成。

采用方覆盖多个层级:

1. 云服务商:AWS、微软 Azure、谷歌云、甲骨文云
2. 英伟达云合作伙伴:阿里云、CoreWeave、Nebius、Together AI 等
3. AI 原生公司:Cursor、Hebbia、Perplexity
4. 全球企业:阿斯利康、贝莱德、字节跳动、Coupang、Instacart、美团、PayPal、Pinterest、Shopee、软银

举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成