若本地部署大模型时出现“Killed”或“CUDA out of memory”错误，需依次采取五项措施：一、降低batch size并启用梯度累积；二、启用FP16/BF16混合精度；三、开启梯度检查点；四、实施INT4/INT8量化；五、截断输入序列长度及压缩多模态数据维度。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在本地部署大模型时遇到进程被强制终止、日志显示“Killed”或报出“CUDA out of memory”错误，则说明系统或GPU显存资源已被耗尽。以下是解决此问题的步骤：
一、降低推理或训练批次大小（Batch Size）
批次大小直接影响前向传播中激活值与梯度的显存占用，其增长与显存消耗呈线性关系。减小该值可立即缓解峰值压力，是最快生效的干预手段。
1、打开模型加载或训练脚本，定位类似 batch_size=32 或 per_device_train_batch_size=16 的参数配置项。
2、将其逐步下调至 8、4 甚至 1，保存后重新运行。
3、若因 batch size 过小导致训练不稳定，启用梯度累积：设置 gradient_accumulation_steps=4，使等效批次保持不变。
二、启用混合精度训练与推理
FP16 或 BF16 精度可将模型参数、梯度及优化器状态的内存占用压缩约50%，且现代 GPU（如A100、RTX 4090）具备原生支持能力，不会牺牲计算准确性。
1、在 PyTorch 训练脚本中导入自动混合精度模块：from torch.cuda.amp import autocast, GradScaler。
2、初始化缩放器：scaler = GradScaler()。
3、将前向计算包裹于 with autocast(): 块内，并使用 scaler.scale(loss).backward() 替代原始反向传播。
三、启用梯度检查点（Gradient Checkpointing）
该技术通过放弃缓存部分中间层激活值，在反向传播需要时重新计算，以显著降低显存峰值，代价是约20%~30%的时间开销，但对显存受限场景极为关键。
1、确认模型支持 model.gradient_checkpointing_enable() 方法（Hugging Face Transformers 模型普遍支持）。
大模型 Token 成本节约工具。在请求到达大模型之前自动压缩 prompt 和上下文，减少 60-95% 的 token 消耗，直接降低 API 成本。支持 Claude/OpenAI/Gemini 等主流模型，提供代理模式、CLI 包装、Python SDK 和 MCP Server 四种接入方式。内置一键安...
2、在模型加载后立即调用该方法，例如：model.gradient_checkpointing_enable(gradient_checkpointing_kwargs={"use_reentrant": False})。
3、若使用自定义模型，需手动在对应 Transformer 层中插入 torch.utils.checkpoint.checkpoint 调用。
四、实施模型量化压缩
将权重从 FP16 进一步压缩至 INT4 或 INT8 表示，可在几乎不损推理质量的前提下，将显存占用降至原始的1/4～1/2，特别适用于部署阶段的静态推理。
1、使用 bitsandbytes 库加载 4-bit 量化模型：model = AutoModelForCausalLM.from_pretrained("model_path", load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16)。
2、确保已安装兼容版本：pip install bitsandbytes --prefer-binary，并验证 CUDA 工具链匹配。
3、对非 Hugging Face 封装模型，可调用 torch.quantization.quantize_dynamic 执行动态量化（仅限 CPU 推理）或使用 AWQ/GPTQ 离线量化工具链。
五、调整输入序列长度与数据维度
注意力机制的内存消耗随序列长度呈平方级增长；单个长度为4096的 BF16 注意力矩阵即占约32GB显存。截断或过滤长输入可快速规避局部峰值。
1、在数据预处理阶段加入最大长度限制：tokenizer(..., truncation=True, max_length=2048)。
2、对批量推理服务，设置请求级长度熔断：if input_ids.shape[1] > 3072: raise ValueError("Input too long")。
3、图像类多模态模型需同步压缩分辨率：将 224x224 输入降为 160x160，并确认视觉编码器接受该尺寸。
