字节seed×清华代码模型以每秒2146个token居首，谷歌gemini diffusion为2000，英伟达llama 4 maverick与mercury coder同为1000，groq lpu平台llama2 7b为750。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在比较当前主流大模型的推理吞吐能力，关注的是每秒生成 token（TPS）这一硬性指标，则需依据最新实测数据进行横向比对。以下是目前已公开、经权威渠道验证的各模型单用户场景下的最高 token 生成速率：
一、字节Seed × 清华大学联合发布的代码生成AI模型
该模型专为代码生成任务优化，在保持高质量输出前提下实现极高的吞吐效率。其核心优势在于轻量级解码架构与定制化KV缓存策略。
1、在标准A100服务器上运行时，实测达到每秒2146个token。
2、该速率包含完整tokenization、安全过滤及语法校验开销，非纯理论峰值。
二、英伟达Llama 4 Maverick（DGX B200单节点）
依托Blackwell架构GPU与深度优化的推理后端，该配置代表当前商用硬件中面向Llama系列的最强单节点吞吐能力。
1、使用8颗Blackwell GPU组成的DGX B200服务器，实测单用户每秒1000个token。
2、测试环境关闭动态批处理与请求合并，确保为纯单流响应性能。
三、谷歌Gemini Diffusion模型（含预填充与安全过滤）
该模型采用文本扩散范式替代传统自回归解码，在长上下文生成中具备独特延迟分布特征。
1、演示环境中实测综合吞吐为每秒2000个token，涵盖token化、预填充、安全过滤器等全部链路耗时。
2、此数据由谷歌团队在2025年5月22日技术简报中现场演示确认。
四、Groq LPU平台运行的Llama2 7B
基于Groq自研LPU芯片的确定性执行流水线，消除GPU中常见的内存带宽瓶颈与调度抖动。
1、极限条件下实测每秒750个token，为GPT-3.5的18倍。
2、该数值在无并发、无上下文压缩、标准温度=0.7设置下取得。
五、Mercury Coder（Inception Labs）
面向编程场景的专用推理引擎，融合编译器级指令调度与符号执行引导机制。
1、在CopilotArena基准中，单用户吞吐稳定达到每秒1000个token。
2、该速率与Claude 3.5 Haiku相比快约10倍，且质量排名第二。
