DeepSeek开源推理框架DeepInfer：兼容英伟达SM100与昇腾950

美国AI企业把精力放在价格不菲的闭源模型上，DeepSeek却选择把自家技术底子摊开给外界看，这一做法在海外网友中收获了不少好评。

10月20日，DeepSeek宣布将内部生产级推理框架DeepInfer开源。

在美国对尖端芯片实施出口限制的背景下，这个框架是DeepSeek让自家大模型紧跟美国顶尖水平的关键所在。推理框架管的是模型如何调用计算资源来处理用户请求，它的设计直接关系到延迟、吞吐量以及跑模型所需的硬件，因此也是左右AI运营成本的重要因素。

彭博社21日提到，推理技术一般被AI公司当作核心竞争力，很少对外披露。DeepSeek这次把推理框架公开，外界才得以窥见它如何在压低运行成本的同时保住模型性能。

即便是同一款AI模型，换了不同的软件，实际运行成本也可能差出不少。软件效率越高，单次请求占用的计算资源就越少，能源消耗也有望跟着降下来。

DeepInfer把分布式推理、投机解码等多项技术整合到一起，可将AI工作负载分摊到不同硬件上，让模型在更短时间内产出更多结果，同时进一步压榨芯片性能。目前该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。

其中不少底层技术业界早已普遍采用，不过DeepSeek针对自家模型做了专门优化，让这些技术之间的配合更高效。

美媒分析，对AI托管服务商来说，推理成本降下来，利润空间就大了，还可能进一步传导为更低的AI服务价格。企业用户如果在自有基础设施上跑DeepSeek模型，DeepInfer同样可能帮他们省下算力开支。

不止于此，DeepInfer开源之后，其他开发者也能研究其中的技术方案，把部分方法搬进自己的模型推理系统。

在DeepSeek宣布开源DeepInfer的帖子下面，美国加州一家专注大语言模型与AI开源优化、本地训练和推理的公司Unsloth AI公开向DeepSeek致谢，称其已借助Dynamic GGUFs，让DeepSeek-V4.1-Flash-1017在配备128GB内存的设备上跑起了本地运行。

评论区里还涌出大量海外开发者和AI从业者的正面反馈。一位印度社交媒体博主直接用“Real OPEN AI”（真正的开放AI）来评价DeepSeek，还配了一段调侃OpenAI首席执行官山姆·奥尔特曼的视频。

欧洲的AI从业者则用漫画讽刺美国AI公司的闭源模型只对特定“朋友圈”开放，与之相对，中国公司正通过降低成本让AI模型更普惠。

一位孟加拉国软件开发者赞叹道，DeepSeek或许是对开源大语言模型生态贡献最大的公司之一。

当然，这次发布的并非一套完整的推理技术栈。其文档写明，要搭建完整服务，还需KV缓存系统、Prefill/Decode解耦，以及在数据并行副本之间做负载均衡等功能，这些并未全部包含在本次开源项目中。不过大部分核心的解耦功能已经落地。

AI基础设施初创公司Requesty首席执行官蒂博·杰古（Thibault Jaigu）认为，DeepInfer降低了部署DeepSeek模型的门槛，但企业仍得有相应的算力和技术能力。在他看来，DeepSeek其实是在告诉外界，“任何人都可以自行托管我们的模型，不过要实现高效的管理，还是有一些技巧需要注意”。

在不少海外网友眼里，DeepSeek做的已不只是发布一个开源推理框架，它正把越来越多原本锁在企业内部的技术拿出来公开，让更多人能参与进来。这和美国AI行业愈发强调闭源模型、巨额算力投入和商业护城河的路线形成鲜明反差。

OpenAI名字里带着“开放”，核心模型却长期走闭源路线；反倒是中国的DeepSeek，正用实打实的行动诠释“开放”二字。

DeepSeek 引用“为善与众行之，为巧与众能之”这句话，并表示：“我们期待着在不远的未来，能够看到全球AI服务的范围与质量获得前所未有的扩展与提升，变得更加公平、透明、可信赖，进而实现在全社会范围内加快技术迭代、减少能源浪费。”