DeepSeek开源内部推理引擎DeepInfer：支持昇腾950，但还不是完整的在线服务

动察 Beating AI 快讯，DeepSeek 正式开源内部推理框架 DeepInfer，采用 Apache 2.0 协议。这套系统已经用于支撑 DeepSeek V4.1 Flash 的大规模在线服务。此前，DeepSeek 已陆续开源 DeepGEMM 计算库、FlashMLA 注意力算子和 DeepEP 通信库。这次进一步公开了负责多卡并行、任务调度和生成加速的核心框架。

DeepInfer 的目标是让同样的算力处理更多请求，同时缩短用户等待时间。它可以把模型的不同专家分配到多张计算卡，并让 CPU 调度与 GPU 运算同时进行。DSpark 推测解码可以提前生成多个候选 Token，再按置信度安排验证。SWA Bounded Replay 则让模型处理长文本时，只重新计算近期的一小段内容，减少重复运算。此外，还支持 JSON 等结构化输出，以及可复现的采样机制。

这次开源还有一段转折。2025 年 4 月，DeepSeek 曾解释，其内部推理引擎由早期 vLLM 深度改造而来，与自家集群高度绑定，难以直接开放给社区使用，因此决定先拆出独立组件。如今核心代码终于公开，但仍不是完整的在线部署方案。GitHub 明确注明，当前版本主要提供离线推理，还缺少 KV 缓存管理、输入与生成阶段分离，以及跨副本负载均衡等组件。

目前 DeepInfer 仅支持 DeepSeek V4.1 Flash，适配英伟达 SM100 GPU 和华为昇腾 950 NPU。官方性能测试分别使用 4 张和 64 张 SM100 GPU 测量输入处理与输出生成，但未提供与 vLLM、SGLang 的同条件性能对比。同时更新的 deepseek-recipe，则提供与官方 API 对齐的消息及 Token 编解码能力，支持思考内容、图片和工具调用等格式。