中文输出错乱等问题源于tokenizer配置错误、template缺失、编码不匹配、长文本机制未启用及评估不足；需分别强制加载适配tokenizer、启用专属template、校准utf-8编码、配置pagedattention与rope参数，并用cmmlu等中文专项指标验证。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在使用 ChatGLM3 或 Qwen 模型时遇到中文输出错乱、术语识别不准、标点异常、长文本指代丢失等问题，则很可能是模型未正确加载中文 tokenization 配置或未启用对应架构的原生支持机制。以下是解决此问题的步骤：
一、确认并强制加载适配的Tokenizer
中文支持失效常源于 tokenizer 与模型结构不匹配，例如 Qwen 使用 标记体系，ChatGLM3 依赖 [MASK]/[gMASK] 前缀，若混用 Hugging Face 默认 AutoTokenizer，将导致对话格式解析失败、上下文截断或语义错位。
1、对于 Qwen 模型，显式指定 tokenizer_class="QwenTokenizer" 并传入 trust_remote_code=True 参数；
2、对于 ChatGLM3 模型，必须使用 AutoTokenizer.from_pretrained(..., trust_remote_code=True)，禁用 fast tokenizer（即设置 use_fast=False）；
3、验证 tokenizer 行为：输入“你好，今天天气如何？”，检查 tokenizer.encode() 输出是否包含模型预期起始标记（如 Qwen 应含 151643 对应 ，ChatGLM3 应以 64787 或 64791 开头）。
二、启用模型专属 template 引擎
LLaMA Factory 等微调框架内置 template 映射表，可自动注入模型所需的对话结构、位置编码配置与归一化方式。若直接调用 Transformers 原生 pipeline，缺失 template 将导致 RMSNorm 失效、RoPE 偏移、Prefix LM 解码崩溃等底层错误。
1、在 LLaMA Factory 配置中明确设置 template: qwen 或 template: chatglm3；
2、若使用 vLLM 部署，需在 --tokenizer-mode auto 基础上，通过 --enable-lora 启用 LoRA 适配器，并确保 lora_modules 包含对应模型名；
3、手动验证 template 效果：构造 system prompt + user input，观察模型输入 embedding 前是否被正确包裹为 system\n...user\n... 或 [gMASK]sop......。
三、校准中文词表与字符编码
部分部署环境默认使用 UTF-8-BOM 或 GBK 编码读取训练数据，导致 tokenizer 无法识别全角标点、中文括号、顿号、书名号等高频符号，进而引发分词断裂与生成跳字。
1、检查训练/推理数据文件头部：运行 file -i your_data.jsonl，确认返回为 charset=utf-8；
2、在数据预处理脚本中强制添加 encoding='utf-8' 参数打开所有文件；
3、对 tokenizer 词表执行覆盖校验：加载 tokenizer.vocab_file，搜索“、”“《”“【”“～”等字符是否存在于 vocab.json 中，缺失则需重新构建词表或加载完整版 tokenizer。
四、修复长文本中文指代连贯性
ChatGLM3-6B-32k 与 Qwen2.5-7B-Instruct 虽标称支持长上下文，但若未启用真实分页注意力（PagedAttention）或未对齐 RoPE 基数，中文长文档中的人名、机构名、章节编号将出现跨段落混淆或指代漂移。
1、在 vLLM 启动参数中加入 --max-model-len 32768 并确认日志输出含 "Using PagedAttention"；
2、对 Qwen 模型，设置 rope_theta=1000000（而非默认 10000），以适配中文长文本位置扩展；
3、对 ChatGLM3 模型，在推理时传入 max_length=32768 且禁用 truncation=True，改用 padding_side='left' 防止句首信息被截断。
五、验证中文任务专项指标
仅靠肉眼判断中文输出质量存在偏差，必须通过结构化测试集量化评估。通用英文 benchmark（如 MMLU）无法反映中文术语理解、政策文本解析、方言转写等真实场景缺陷。
1、使用 CMMLU（Chinese Massive Multitask Language Understanding）子集进行零样本评测，重点关注 law、medicine、finance 分类准确率；
2、构造自定义测试集：每条样本含 2000 字中文报告 + 3 个指代性问题（如“文中提到的第三家医院名称是什么？”），人工标注答案后统计 exact match 率；
3、运行 transformers.EvalPrediction 接口，输出 confusion matrix 中 中文专有名词实体识别 F1 值，低于 0.85 即需回溯 tokenizer 与 template 配置。
