据 1M AI News 监测,英伟达在 GTC 大会上发布 Dynamo 1.0,一款面向生成式和 Agent 推理的开源分布式软件,定位为 AI 工厂的「操作系统」,负责在集群范围内协调 GPU 和内存资源。在最近的行业基准测试中,Dynamo 将 Blackwell GPU 的推理性能最高提升 7 倍。
黄仁勋表示:「推理是智能的引擎,驱动着每一次查询、每一个 Agent 和每一个应用。通过 Dynamo,我们创造了 AI 工厂的首个'操作系统'。」
Dynamo 通过智能「流量调度」将推理任务拆分到多个 GPU 上,并在 GPU 与低成本存储之间动态搬运数据,减少浪费、缓解内存瓶颈。对于 Agent AI 和长提示场景,Dynamo 可将请求路由到已缓存相关上下文的 GPU 上,不需要时再卸载缓存。核心组件包括 KVBM(内存管理)、NIXL(GPU 间高速数据传输)和 Grove(简化扩展),均可作为独立模块使用。Dynamo 已与 LangChain、llm-d、LMCache、SGLang 和 vLLM 等开源框架原生集成。
采用方覆盖多个层级:
1. 云服务商:AWS、微软 Azure、谷歌云、甲骨文云
2. 英伟达云合作伙伴:阿里云、CoreWeave、Nebius、Together AI 等
3. AI 原生公司:Cursor、Hebbia、Perplexity
4. 全球企业:阿斯利康、贝莱德、字节跳动、Coupang、Instacart、美团、PayPal、Pinterest、Shopee、软银