需清洗数据、扩展词表、lora微调、注入系统提示并校验推理：先标准化sharegpt为chatml格式并过滤非中文；再扩展中文词表；接着用lora高效微调；然后硬编码安全系统指令；最后本地测试响应质量。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望使用ShareGPT公开对话数据集对LLaMA系列模型进行中文微调，则需面对原始数据格式不兼容、中英文混杂、对话结构缺失等实际障碍。以下是完成该任务的具体实践路径：
一、数据清洗与格式标准化
ShareGPT原始数据为JSONL格式，包含大量英文系统提示、非标准角色标签（如“gpt”“human”而非“assistant”“user”）及未过滤的低质量对话，需统一映射为Alpaca或ChatML兼容结构，并剥离非中文样本。
1、使用Python脚本读取sharegpt.jsonl文件，逐行解析每条对话记录。
2、遍历每轮消息，将"from": "human"替换为"role": "user"，将"from": "gpt"替换为"role": "assistant"。
3、对每条消息的"content"字段执行语言检测，仅保留langdetect判定为zh或zh-cn的条目。
4、删除content中包含连续6个以上英文单词或含URL、代码块（```）、Base64字符串的整轮对话。
5、将清洗后对话按ChatML格式重组：以user{content}assistant{content}形式拼接，并写入new_sharegpt_chatml.jsonl。
二、中文词表扩展与分词器适配
LLaMA原生词表未覆盖中文常用字符及词组，直接加载会导致大量
1、加载llama-2-7b-hf的tokenizer.model文件，使用sentencepiece工具导出原始词表vocab.txt。
2、从清洗后的中文对话中提取出现频次≥50的双字/三字词，筛选出不在原词表中的词汇共12,843个，按Unicode码点升序排列。
3、使用spm_train命令以原始tokenizer.model为base，添加--input_sentence_size 1000000 --character_coverage 0.9995参数重新训练分词器。
4、验证新分词器对“今天天气怎么样”分词结果是否输出为[‘今’, ‘天’, ‘天’, ‘气’, ‘怎’, ‘么’, ‘样’]而非单字切分异常。
三、LoRA微调配置与训练启动
全量微调LLaMA-2-7b显存需求超48GB，采用LoRA可将可训练参数压缩至0.1%以内，同时保持对话连贯性与指令遵循能力。
1、安装peft==0.7.1与transformers==4.35.2，确保支持llama-2架构的LoraConfig。
2、设置r=64、lora_alpha=16、lora_dropout=0.05，target_modules设为['q_proj','k_proj','v_proj','o_proj']。
3、在training_args中启用bf16=True、gradient_checkpointing=True、per_device_train_batch_size=2。
4、加载预处理后的ChatML格式数据集，指定formatting_func将每条样本转为model.prepare_inputs_for_generation所需格式。
5、启动训练时传入--report_to none --logging_steps 10 --save_steps 200，避免wandb干扰并控制检查点粒度。
四、指令模板注入与系统提示工程
原始ShareGPT无统一系统指令，导致微调后模型无法识别角色身份或拒绝有害请求，需在数据预处理阶段硬编码安全指令前缀。
1、在每条对话开头插入固定系统消息：system你是一个乐于助人的中文AI助手，严格遵守中国法律法规，不生成违法不良信息，不提供医疗/金融建议，不参与政治讨论。user
2、对用户输入中含“请扮演”“模拟”“假设”等指令类动词的样本，在其前追加“你必须严格遵循上述系统指令，不得违背。”
3、过滤掉assistant回复中出现“我不能”“我无法”“根据规定”等规避式表达超过2次的样本，防止模型习得过度拒绝行为。
4、将注入系统提示后的数据保存为final_train.jsonl，确保首行为合法JSON对象且无BOM头。
五、本地推理与响应质量校验
微调完成后需脱离训练框架进行裸模型测试，验证中文语义理解、多轮上下文维持及指令服从性，避免幻觉或格式错乱。
1、使用transformers.AutoModelForCausalLM.from_pretrained加载微调权重，设置torch_dtype=torch.bfloat16。
2、构造测试prompt：system你是一个中文AI助手。user北京故宫始建于哪一年？assistant
3、调用model.generate()时指定eos_token_id=tokenizer.convert_tokens_to_ids("")，强制终止于正确标记。
4、人工抽检100条生成结果，统计未截断、无英文混入、无事实性错误、无重复token的样本占比。
