☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
英伟达研究团队实现了一项关键性突破：成功实现了KV缓存在异构大语言模型间的跨模型迁移。借助该技术，目标模型可完全绕过预填充（prefill）阶段，其转换效率较传统方式提升2.7至25倍，具体增幅取决于模型架构与上下文长度。
要深入理解这一进展的价值，需先厘清KV缓存的核心功能。当你使用ChatGPT或Claude等对话系统时，首字生成往往明显延迟，而后续token则近乎实时输出——这正是由预填充阶段所决定的。模型必须在生成首个词前，完整解析全部输入文本，并将中间计算结果以键值（Key-Value）形式缓存。此后每一步解码均可复用该缓存，从而大幅加速推理。
然而长期以来，KV缓存始终绑定于特定模型——即“一模型一缓存”。一旦更换模型（如从Llama切换至Gemini），或仅升级同一模型的版本（如从Qwen2到Qwen3），原有缓存即彻底失效，新模型不得不重复执行整段上下文的预填充计算。在处理万字长文、多轮复杂对话等场景中，这种冗余开销尤为显著。
英伟达提出的迁移机制打破了这一限制。它允许一个模型生成的KV缓存，经轻量级适配后直接供另一模型调用，使后者无需执行任何预填充操作即可启动解码。而该适配过程本身也极为高效，相较完整重算上下文，耗时降低达2.7–25倍。
这项成果或将重塑AI服务的底层逻辑。目前LLM API成本中，上下文预填充环节占比突出，尤其在长文档摘要、持续对话等高负载场景下更为明显。若KV缓存具备跨模型复用能力，则用户在模型切换、版本迭代或混合部署时，将不再承担重复计算代价；历史对话状态亦可无缝延续。长远来看，这有望推动推理基础设施向更灵活、更节约、更连贯的方向演进。
