不支持。pytorch 2.1 无内置 lora 模块，需依赖 peft 库实现；其动态注入方式可能与 torch.compile 冲突，且必须严格遵循加载模型→配置lora→注入适配器三步流程，确保模块名匹配、精度一致、merge/unload 时机正确。
PyTorch 2.1 是否原生支持 LoRA 微调？
不支持。PyTorch 2.1 本身没有内置 LoRA、lora_layer 或任何与参数高效微调（PEFT）相关的模块。LoRA 是由 Hugging Face 的 peft 库实现的，和 PyTorch 版本弱耦合——只要 PyTorch ≥ 2.0（满足 torch.compile 和 SDPA 支持），peft 就能正常工作。但注意：PyTorch 2.1 默认启用 torch.compile 后端，而 peft 的某些动态模块插入方式（如直接 monkey patch nn.Linear.forward）可能与编译器冲突，导致运行时报错 RuntimeError: compiled function doesn't support nested tensor 或前向静默失败。
用 peft + transformers 加载 LoRA 适配器的关键步骤
核心是三步：加载基础模型 → 构建 LoRA 配置 → 注入适配器。必须确保模型处于 eval() 或 train() 模式后再注入，否则 peft 可能漏掉部分子模块。
-
from peft import get_peft_model, LoraConfig，不要用已弃用的prepare_model_for_kbit_training（它在 0.10+ 版本中已被移除） - 配置里
r=8、lora_alpha=16、target_modules=["q_proj", "v_proj"]是常见起点；若模型用Qwen2或LlamaForCausalLM，需显式列出所有含_proj的线性层名，可用model.named_modules()打印确认 - 调用
get_peft_model(model, config)后，模型会自动把原始权重设为requires_grad=False，仅 LoRA 参数可训练——但注意：model.lm_head默认不被 LoRA 覆盖，如需微调输出头，得手动加进target_modules
训练时遇到 GradScaler 报错或梯度爆炸怎么办？
LoRA 参数量小，但梯度 scale 容易失衡，尤其在混合精度（amp）下。PyTorch 2.1 的 torch.cuda.amp.GradScaler 对小参数矩阵更敏感。
- 在
Trainer中显式关闭 scaler：fp16_full_eval=False且bf16=False，或改用torch.autocast(dtype=torch.bfloat16)手动控制区域 - LoRA 的
lora_dropout不影响梯度流，但fan_in_fan_out=True（对 Llama 系列必需）会影响初始化方差，若 loss 突然 nan，先检查该 flag 是否匹配模型结构 - 验证阶段务必调用
model.merge_and_unload()再做 inference，否则forward仍走 LoRA 分支，结果不可复现
保存/加载 LoRA 适配器后模型行为异常？
LoRA 权重默认只存 adapter_model.bin 和 adapter_config.json，不含基础模型。加载时若路径写错或版本不匹配，会出现 Missing key(s) in state_dict 或静默跳过加载。
- 保存用
model.save_pretrained("lora_adapter")，不是model.base_model.save_pretrained(...) - 加载时必须用
PeftModel.from_pretrained(base_model, "lora_adapter")，且base_model必须与训练时完全一致（包括torch_dtype、attn_implementation） - 如果用
bitsandbytes做 4-bit 加载，load_in_4bit=True必须在 base model 加载时指定，不能只在 PeftModel 加载时传——否则device_map错位，GPU 显存报错
LoRA 的真正复杂点不在代码行数，而在模块命名一致性、精度传播路径、以及 merge/unload 时机——这三个地方出错，模型看起来在训，其实没更新，或者推理结果飘忽不定。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
