必须剔除低质量对话样本以保障grok微调效果：①单轮内容＜8字符且含无效符号即标记；②user-assistant余弦相似度＜0.25视为断裂；③混入html/乱码等立即丢弃；④中文占比＜0.65且非assistant轮则排除；⑤结构需严格交替且≥2轮；⑥按首轮提问哈希去重；⑦隐私信息掩码并归一化空白后过滤重复字符。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让Grok模型在微调中真正学会高质量对话逻辑，必须先剔除那些看似完整、实则断裂、空洞或带偏见的对话样本——这些数据会直接污染MoE层的专家路由决策，导致负载失衡与推理抖动。
识别低质量对话的三类硬伤
第一步：检查单轮content是否含有效语义单元。若某轮仅含“嗯”“好的”“？”或连续3个及以上标点（如“！！！”“………”），且长度＜8字符，直接标记为低信息量样本。【这类样本无法支撑BERT相似度计算，跳过后续语义评分】
第二步：对user→assistant相邻轮次做语言一致性校验。用bert-base-chinese提取句向量，计算余弦相似度；低于0.25视为上下文断裂——比如用户问“怎么重置密码”，assistant答“今天天气不错”，这种必须剔除。
第三步：扫描system字段以外的轮次中是否混入HTML标签、Base64片段、URL路径或非UTF-8乱码字节（如\x80\x9f）。只要检测到任意一项，整条对话立即丢弃。
基于字符分布的中文纯度过滤
方法一：定义合法中文字符集范围，覆盖\u4e00-\u9fff（基本汉字）、\u3400-\u4dbf（扩展A）、\u3000-\u303f（中文标点）、\uf900-\ufaff（兼容汉字）四段Unicode区间。
方法二：逐轮统计content中属于上述区间的字符数，再除以该轮总字符数（含英文字母、数字、符号、空白），得出中文占比值。
方法三：设定阈值0.65——若任意一轮非system内容低于此值，且该轮不是由模型生成的assistant回复（即非模型侧输出），则整条对话被排除。【注意：system提示可含英文指令，不参与此过滤】
多轮结构完整性校验
① 检查对话是否至少包含1轮user + 1轮assistant，且顺序为user→assistant→user→…交替出现；出现连续两轮user或两轮assistant的，视为结构异常。
② 统计每条对话总轮次数，剔除轮次＜2的样本（单轮问答无法建模对话状态流转）。
③ 对保留样本执行去重：以user首轮提问文本为key，哈希后比对，相同key只留最早一条——避免同一问题被反复喂给模型造成过拟合。
这一步操作起来很简单，直接把清洗后的JSONL文件按行读取，用Python字典缓存已见过的hash值即可。
隐私与噪声联合剥离
运行正则表达式替换：r'1[3-9]\d{9}' → '[PHONE]'，r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b' → '[EMAIL]'，r'\d{17}[\dXx]' → '[IDCARD]'。所有匹配项统一掩码，不删除整行。
对掩码后文本再执行空白归一化：将全角空格、不间断空格、零宽空格等全部转为标准ASCII空格，并压缩连续多个空格为单个。
最后过滤掉掩码后仍含3个以上连续相同字符的行（如“aaa”“？？？”“___”），这类残留噪声会干扰tokenization。
