【php中文网快讯】10月20日，deepseek正式宣布将其自研推理框架 deepinfer 全面开源。该框架目前已成功支撑 deepseek v4.1 flash 模型，实现高吞吐、低延迟的大规模推理服务；未来所有新模型的推理逻辑及性能优化工作，也将持续在该项目中迭代更新。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
官方指出，大模型的理论能力上限取决于模型自身结构与参数规模，但若要在实际业务中以可接受的成本承载海量AI请求，推理框架这一关键中间层则起着决定性作用。训练仅让模型“学会”，而推理才真正让模型“可用”。在面对高并发用户请求时，推理框架负责统筹调度底层算力集群，其执行效率直接关系到AI服务的算力投入与能源消耗。
此前，DeepSeek 已陆续开源多款大语言模型、TileLang 编译工具链以及高性能推理算子库。此次进一步开源核心推理框架 DeepInfer，旨在将自身在超大规模模型部署中的工程实践向外界开放，助力开发者与企业显著提升推理吞吐量、降低响应延迟，更高效地完成私有化部署与公有云适配，从而节省算力支出、减少碳排放，加速大模型技术的普及落地，同时长期支持社区开展大规模推理优化相关研究与开发。
据悉，DeepInfer 推理框架集成了多项先进特性，包括高性能定制算子、深度调优的推理引擎、分布式推理能力、推测解码（Speculative Decoding）、SWA Bounded Replay 机制以及结构化输出支持等，并原生兼容英伟达 GPU 与华为昇腾 AI 加速芯片。
此外，配套的 deepseek-recipe 生产级 Token 编解码组件也同步开源。该组件严格遵循 DeepSeek 官方 API 的编解码逻辑，确保社区开发者能获得与官方服务完全一致的 Token 处理行为与接口体验。
