先验证硬件与基础模型能否跑通lora微调：执行nvidia-smi确认cuda≥12.1且空闲显存≥18gb（推荐≥24gb），检查模型目录含config.json、model.safetensors、tokenizer.model，再运行最小推理测试输出是否为“我是阿里云开发的……”；再准备高质量lora训练数据，50条指令明确+上下文真实+输出可执行的样本即可启动训练；最后配置并启动lora微调，推荐swift命令行工具，设置lora_r:8、lora_alpha:16、target_modules:["q_proj","v_proj"]等参数，训练中实时验证效果，达标后导出融合模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
确认硬件与基础模型能否跑通LoRA微调
显存不足或CUDA版本不匹配会导致LoRA训练在第一步就报错，必须先验证再建数据集。执行nvidia-smi，确认驱动支持CUDA≥12.1、空闲显存≥18GB；若用RTX 3090/4090/A10等卡，显存≥24GB更稳妥。进入模型目录运行ls -lh Qwen2.5-7B-Instruct/，检查是否存在config.json、model.safetensors、tokenizer.model三个核心文件——【缺任何一个都会导致后续加载失败】。最后跑一次最小推理：CUDA_VISIBLE_DEVICES=0 swift infer --model Qwen2.5-7B-Instruct --model_type qwen --temperature 0 --max_new_tokens 128，输入“你好”，输出首句应为“我是阿里云开发的……”，否则说明环境未就绪，不能继续。
准备高质量LoRA训练数据
数据量不是关键，质量才是命门。你手头只有50条真实业务样本，只要每条都满足“指令明确+上下文真实+输出可执行”，效果可能远超2000条泛化数据。比如法律场景，一条合格样本是：{"instruction": "将客户投诉记录按紧急程度分级并生成处理建议", "input": "客户反馈APP支付后订单状态未更新，已持续3小时，涉及金额¥2999", "output": "P0级(2小时内响应):系统支付状态同步异常类；立即回滚交易并人工补单，同步发送致歉短信"}。禁止出现“请帮我写一段话”这类模糊指令，也不允许input为空或output含模板占位符。清洗时删掉所有带“（示例）”“（待补充）”字样的行，保留纯JSONL格式，无注释、无空行、无中文逗号代替英文逗号。
数据量底线非常清晰：50条能启动训练并观察loss下降趋势；200条可让术语识别与风格迁移初见成效；500条以上才具备稳定泛化能力。如果你只做客服话术对齐，200条高质量样本已足够上线测试；若是医疗报告生成，建议至少800条覆盖常见病种与检查项组合。
配置并启动LoRA微调训练
方法一：使用swift命令行工具（推荐新手）
① 安装依赖：pip install -U peft bitsandbytes transformers accelerate
② 创建配置文件lora_config.yaml，写入以下内容：
lora_r: 8
lora_alpha: 16
target_modules: ["q_proj","v_proj"]
lora_dropout: 0.05
quantization_bit: 4
③ 执行训练：swift train --dataset self_cognition.jsonl --model Qwen2.5-7B-Instruct --lora_config lora_config.yaml --learning_rate 2e-4 --num_train_epochs 3 --per_device_train_batch_size 2
这一步会自动启用4bit量化与梯度检查点，显存占用压到8GB左右。
方法二：手动注入LoRA层（适合需调试细节的用户）
直接在Python中加载模型后插入：
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(r=8, lora_alpha=16, target_modules=["q_proj","v_proj"], lora_dropout=0.05, task_type="CAUSAL_LM")
model = get_peft_model(model, lora_config)
注意：target_modules必须严格匹配Qwen2.5的注意力层命名，【填错成"k_proj"或"o_proj"会导致LoRA不生效】，可用model.named_modules()打印验证。
验证微调效果是否达标
不要等训练完再测。在第1个epoch结束时，用3条未参与训练的测试样例跑一次推理，例如输入“请将以下SQL注入漏洞描述转为红队POC代码”，观察输出是否包含真实可执行的Python脚本片段。如果仍输出通用解释性文字，说明instruction字段设计过宽或数据清洗不到位，需立刻停训返工。训练完成后再用5条新样本测试，重点看三点：术语是否准确（如“WAF指纹”“P0级响应”是否被正确复用）、动词是否匹配（“生成”“提取”“转换”等是否触发对应动作）、输出长度是否稳定（避免突然截断或无限续写）。只要其中两项达标，即可导出权重。
执行swift export --ckpt_dir outputs/checkpoint-xxx --output_dir qwen-finetuned，生成融合后的HF格式模型目录。这一步不可逆，【导出前务必确认测试通过】。
