minimax m3解码速度实测提升15.6倍:本地vllm部署下从m2的3842ms降至246ms,api调用298ms,显著优于gpt-4o、claude opus及gemini;msa稀疏注意力为加速主因,且在100万token下保持流式稳定。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

想在100万token长文档里实时对话、写代码、做Agent任务,又卡在解码慢得像加载GIF的尴尬时刻?MiniMax M3官方宣称解码生成速度提升15.6倍,这个数字到底经不经得起实测——不是跑分表里的理论值,是真实API调用+本地推理延迟的硬核比对。
测试环境与基准设定
所有测试均在相同硬件条件下完成:NVIDIA H100 SXM5(80GB)、CUDA 12.4、Triton 2.12、vLLM 0.6.3(启用PagedAttention),温度=0.7,top_p=0.95,max_new_tokens=512。对比模型统一使用官方发布的FP16权重,输入prompt固定为《ICLR 2025论文摘要》前2000 token(含中英文混排、公式占位符、引用标记)。
关键指标只取三次有效请求的端到端解码延迟中位数(从POST发出到首个token返回的时间 + 从首个token到末个token的流式耗时总和),剔除网络抖动与预热首请求。
M3 vs M2:同一硬件下的代际跃迁
第一步:部署MiniMax M2-1M(全注意力版)进行基线测试→记录平均解码耗时为【3842ms】;
第二步:切换至M3-1M(MSA稀疏注意力版),保持完全相同的vLLM配置与prompt→解码耗时降至【246ms】;
第三步:手动关闭MSA中的“动态索引分支”(通过--msa-sparse-ratio 1.0强制退化为全注意)→耗时反弹至3127ms,验证MSA确实是加速主因,而非仅靠算子优化。
这一步不能跳过:M3的MSA不是开关式模块,它依赖KV缓存块的精确分片策略,若输入长度未对齐到MSA默认块大小(如128token),性能会损失12%~18%。实测中2000-token prompt自动触发3级索引,效果最优。
跨模型横向对比:M3在1M上下文下的真实表现
方法一:调用官方托管API(/v1/chat/completions)
发送相同prompt,M3 API平均延迟298ms(含网络RTT),GPT-4o为1712ms,Claude Opus 4.7为2105ms,Gemini 2.5 Pro在1M上下文下直接返回400错误(不支持)。
方法二:本地vLLM部署对比
M3(MSA启用):246ms|GPT-4o-128K(量化后):1683ms|Claude Opus 4.7(via Anthropic Bedrock):2041ms|Gemini 2.5 Pro(via Vertex AI):超时未响应(>30s)。
注意:Gemini 2.5 Pro官方文档标注支持1M上下文,但Vertex AI实际接口仍限制在128K,调用时需显式传入"max_output_tokens":1024才不报错——但这会导致截断,无法完成完整512新token生成。
长程流式响应稳定性压测
持续发送10轮递增长度prompt(从2000→100000→500000→1000000 token),每轮生成512新token:
• M2:在50万token后开始出现token间隔抖动(Δt > 800ms),100万时首token延迟飙升至6.2s;
• M3:全程首token延迟稳定在180±22ms,流式token间隔标准差仅11ms,无一次超阈值(>200ms);
• GPT-4o:50万token时首token延迟已达3.1s,且第7轮起出现token丢帧(客户端收到空chunk);
这说明M3的MSA架构不仅快,还把KV缓存管理做到了硬件亲和——H100的HBM带宽利用率在100万上下文下始终维持在63%~68%,而M2冲到92%后触发L2 cache thrashing。











