扣子知识库原始对话数据需清洗：清除system消息、丢弃元字段、配对u-a样本、合并分片、统一编码标点、脱敏敏感信息、校验json合法性并确保u-a数量相等。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
扣子知识库导入原始对话数据后，常出现系统消息混入、多轮上下文错位、敏感信息残留、JSON嵌套异常等问题，不清洗就直接用于RAG检索，会导致召回内容断裂、语义失真、甚至泄露手机号或邮箱。
识别并剥离平台元字段
打开Coze导出的JSONL文件，用VS Code或Notepad++打开，搜索"role": "system"或"bot entered"等关键词——这些是平台自动生成的非用户交互内容，必须清除，否则向量化后会污染语义空间。
用正则表达式"role":\s*"system"[^}]*}全局匹配并删除整块system消息；注意不要误删"role": "assistant"中真正由Bot生成的有效回复。
对conversation_id、message_id、created_at等字段，直接在pandas中执行df.drop(columns=['conversation_id', 'message_id', 'created_at'], errors='ignore')——【保留user/assistant角色字段和content正文，其余元数据一律丢弃】。
提取干净的用户-机器人交互对（U-A pairs）
方法一：按会话边界切分
先用df.groupby('conversation_id')聚合每轮完整对话，再遍历每组，从第一条role == 'user'开始，将紧随其后的role == 'assistant'配对为一条U-A样本；若中间夹有role == 'system'则跳过该assistant条目。
方法二：流式消息合并修复
当导出数据含"is_truncated": true或"partial": true字段时，说明某条消息被分片传输。需按message_id前缀（如"msg_abc123_part1"）归并，再用''.join(parts)拼接还原完整文本——【未合并就向量化，会导致语义碎片化，检索时无法命中完整意图】。
处理编码与标点混乱
第一步：强制转UTF-8
用Python读取CSV时加参数encoding='utf-8-sig'，避免Windows记事本导出的BOM头引发解码错误。
第二步：中英文标点归一化
将全角括号（（））、引号（“”）、顿号（、）批量替换为半角符号；特别注意中文逗号“，”要替换成英文逗号“,”，否则后续分词器会把整个字段当一个token处理。
第三步：清理不可见控制字符
执行text.replace('\u200b', '').replace('\ufeff', '').replace('\r\n', '\n')——这些零宽空格、BOM、回车符肉眼不可见，但会让embedding模型输出nan向量。
脱敏与结构校验
运行正则r'1[3-9]\d{9}'匹配手机号，r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'匹配邮箱，全部替换为[PHONE]和[EMAIL]占位符。
检查JSONL每行是否合法：用json.loads(line.strip())逐行加载，捕获JSONDecodeError并记录行号——Coze导出的JSONL常因转义缺失（如"text": "他说: \"你好\""漏掉反斜杠）而中断解析。
最后验证U-A对数量：清洗后len(df[df['role']=='user'])应等于len(df[df['role']=='assistant'])，若不等，说明存在单边消息，需人工抽检前10条确认切分逻辑是否漏判。
