☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
10月20日，DeepSeek 正式宣布全面开源其自研推理框架 DeepInfer。此次开源是继此前陆续开放多款大模型、TileLang 编译工具链以及高性能推理算子库之后，在基础设施层的又一重要动作。官方强调，大模型的能力上限由模型架构与参数规模决定，但能否以可承受的成本将超大规模模型能力稳定、高效地交付给终端用户，则高度依赖于推理框架这一关键中间件——它负责统一调度海量异构算力资源，其性能表现直接左右着 AI 服务的整体算力开销与能耗水平。
DeepInfer 内置经过深度调优的高性能算子集合与轻量高并发推理引擎，原生支持分布式推理、推测解码（Speculative Decoding）、SWA Bounded Replay、结构化输出生成等前沿推理加速技术，并已实现对英伟达 GPU 与华为昇腾 AI 芯片的双平台兼容。依托该框架，DeepSeek 已成功支撑 DeepSeek V4.1Flash 模型的大规模线上推理服务，在吞吐率与响应延迟方面达到生产级要求；后续新模型的推理适配代码及持续优化成果，也将统一在此框架中迭代发布。
同步开源的 deepseek-recipe 是一套面向工业场景的 Token 编解码组件，具备完整生产可用性，其行为逻辑与 DeepSeek 官方 API 完全一致，确保社区用户在私有部署时获得与公有云服务完全对齐的文本处理体验。上述两部分核心代码均已上线 GitHub，DeepSeek 同时在知乎平台发布了详尽的技术解析报告。
官方指出，此次开源推理框架的核心目标，是助力开发者与企业更高效地完成大规模推理系统的构建与调优，无论是在私有化环境还是混合云架构下，均可显著提升资源利用率、压降单位请求的算力消耗与电力成本，从而推动 AI 能力以更低门槛、更低成本惠及更广泛用户群体。从模型、到算子、再到推理框架的分层开源策略，延续了国产大模型厂商通过共建开源生态降低部署门槛、加速智能普惠进程的实践路径。
开源地址
DeepInfer: https://www.php.cn/link/c8942941045adcc30f7560661dae0bc7
deepseek-recipe: https://www.php.cn/link/83f33f6498df639a8476f5315e415ab2
