☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
10月20日，DeepSeek 正式宣布，继此前陆续开源多款大模型、TileLang 编译工具及推理算子库之后，将内部自研的推理框架 DeepInfer 全面开源。
该公司特别指出一个常被外界忽略的关键环节：大模型的能力边界由模型架构与参数规模决定，但能否以可控成本支撑超大规模线上服务，核心取决于推理框架的设计与实现。训练过程让模型“学会知识”，而推理系统则让模型“真正落地应用”。在当前高频、高并发的用户请求场景下，推理框架需高效调度海量计算资源，其性能优劣直接关系到 AI 服务的单位算力成本与整体能耗水平。
DeepSeek 希望通过公开自身在生产环境中的部署实践，助力开发者和企业提升大规模推理任务的吞吐能力与响应速度，从而更高效地构建私有化部署或公有云推理服务，在保障服务质量的同时显著降低算力开销与能源消耗，推动“大模型普惠”目标的实现。
目前，基于 DeepInfer 框架，DeepSeek 已成功上线 DeepSeek V4.1Flash 的高吞吐、低延迟推理服务；未来所有新模型的推理代码及持续优化也将统一集成于该框架中。
从技术细节看，DeepInfer 推理框架整合了高性能定制算子与深度调优的推理引擎，原生支持分布式推理、推测解码（Speculative Decoding）、SWA Bounded Replay、结构化输出等多种前沿特性，并全面兼容英伟达 GPU 与华为昇腾 AI 芯片两大主流硬件平台。与此同时，配套开源的还有 deepseek-recipe 编解码组件——一个面向生产的 Token 编解码模块，其行为逻辑与 DeepSeek 官方 API 完全一致，确保社区用户在本地部署时获得与官方服务一致的接口体验。对于希望自主搭建推理服务的团队而言，这意味无需重复造轮子，可直接复用 DeepSeek 经过实战验证的技术方案。
