vllm性能优化需五步：一调连续批处理参数（如--max-num-seqs 128、--max-model-len 8192）；二启pagedattention（--block-size 2048）；三施多级量化（awq权重+fp8 kv）；四配前缀缓存复用提示；五分短/中/长输出请求至专用worker。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
一、调整连续批处理参数以匹配请求负载
vLLM的continuous batching机制依赖动态合并待处理请求，其吞吐表现高度敏感于--max-num-seqs和--max-model-len等参数配置。过小的并发序列数会导致GPU空闲，过大则引发首令牌延迟（TTFT）飙升并增加OOM风险。
1、启动服务时显式设置最大并发序列数：vllm serve --model qwen3 --max-num-seqs 128
2、根据实际输入长度限制模型上下文长度：--max-model-len 8192（避免设为理论最大值32768，防止页表膨胀）
3、在高波动流量场景下启用自适应批处理：--enable-prefix-caching --enforce-eager（强制启用前缀缓存并禁用CUDA Graph优化，提升突发请求响应确定性）
二、启用PagedAttention分页机制并优化页大小
PagedAttention通过将KV缓存划分为固定尺寸页块，实现显存零拷贝共享与弹性扩展。页大小直接影响内存碎片率与页表查找开销，需结合GPU显存带宽与典型序列长度权衡。
1、启动时指定页大小为2048 token：--block-size 2048（适用于A100 80GB显卡部署Qwen3-14B）
2、对长上下文任务启用超大页支持：--block-size 4096 --enable-chunked-prefill
3、验证页分配效率：运行后检查日志中num_gpu_blocks与num_cpu_blocks比值，确保GPU块占比高于95%
三、实施多级量化策略降低显存压力
量化可显著压缩权重与KV缓存体积，但不同层级对精度敏感度差异大。vLLM支持AWQ、INT4、FP8 KV等多种量化路径，需按模块特性分层配置。
1、对模型权重采用AWQ 4-bit量化：--quantization awq --awq-quantize-config-path ./awq_config.json
2、对KV缓存启用FP8量化以提升并发容量：--kv-cache-dtype fp8 --quantized-kv-cache-scales 0.002
3、禁用对Embedding层的量化（保留FP16）：--disable-embedding-quant
四、配置前缀缓存复用高频提示结构
前缀缓存允许跨请求复用相同系统提示、few-shot模板或RAG检索头文本的KV页，实现零计算加速。该功能依赖提示结构标准化，且仅在请求前缀完全一致时生效。
1、启动服务时强制开启前缀缓存：--enable-prefix-caching
2、统一所有API请求的system prompt格式，例如固定为："你是一个专业中文助手，严格按用户指令执行，不添加额外解释。"
3、在客户端构造请求时，将变量内容置于user字段末尾，确保messages[0].content与messages[1].content前缀完全一致
五、分离短/中/长输出请求至专用Worker实例
vLLM的continuous batching在请求输出长度分布均匀时效率最高。混合长短输出请求会导致调度器频繁拆分微批次，降低GPU利用率。物理隔离不同输出长度类别的服务实例可稳定延迟曲线。
1、为短输出（≤128 token）部署独立服务：vllm serve --model qwen3 --max-num-seqs 256 --max-model-len 2048 --output-len 128
2、为中输出（129–1024 token）部署第二实例：--output-len 1024 --max-num-seqs 64
3、前端网关依据预估输出长度路由请求，使用X-Output-Length-Hint HTTP头传递提示
