必须用python脚本清洗转换原始excel/csv数据才能用于dify微调，因dify无交互式编辑、正则替换或语义去重能力；需安装pandas、openpyxl等依赖，执行html清除、敏感信息脱敏、字段对齐及jsonl生成，并验证格式合法后上传。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中处理原始Excel或CSV数据并用于微调，必须先用Python脚本完成清洗与结构转换——因为Dify本身不提供交互式文本编辑、正则批量替换或语义去重能力，直接上传脏数据会导致训练失败或输出不可控。
准备清洗环境与依赖
新建一个本地Python项目目录，在终端执行：pip install pandas openpyxl numpy regex。注意必须安装openpyxl而非xlrd，否则读取.xlsx文件会报错Unsupported format。
这一步不能跳过——Dify虽支持.xlsx上传，但其后台解析逻辑与pandas+openpyxl一致，本地环境不匹配将导致你调试通过的脚本在Dify数据预览阶段就显示字段错位。
清洗核心字段：去除噪声与统一语义
方法一：基础文本清洗（适用于客服对话、用户反馈类文本）
定义clean_text函数，移除HTML标签、连续空白、全角标点及非法Unicode字符：
import re<br>def clean_text(text):<br> if not isinstance(text, str): return ""<br> text = re.sub(r"]+>", "", text) # 去HTML标签<br> text = re.sub(r"[^\u4e00-\u9fa5\w\s.,!?;:()\-]", "", text) # 保留中英文、数字、常见符号<br> text = re.sub(r"\s+", " ", text).strip()<br> return text
方法二：敏感信息脱敏（必须启用）
用正则匹配手机号、邮箱、身份证号并替换为占位符，否则Dify审核可能拦截上传：
text = re.sub(r"1[3-9]\d{9}", "[PHONE]", text)<br>text = re.sub(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}", "[EMAIL]", text)<br>text = re.sub(r"\d{17}[\dXx]", "[IDCARD]", text)
【脱敏必须在清洗早期执行】——若先做小写化或空格压缩，可能导致正则无法匹配原始格式的手机号（如带空格或短横线）。
结构化对齐：将源数据映射为Dify JSONL三元组
第一步：读取源文件并校验必需列
假设你的Excel文件名为qa_raw.xlsx，且含列question、answer、category。先强制读取首行为header，并检查字段是否存在：
import pandas as pd<br>df = pd.read_excel("qa_raw.xlsx", dtype=str)<br>if not all(col in df.columns for col in ["question", "answer"]):<br> raise ValueError("缺少question或answer列，Dify微调必须包含输入输出对")
第二步：填充instruction字段（不可为空）
Dify要求每条样本必须有instruction。若原始数据无该列，需根据category自动补全，例如：
df["instruction"] = df["category"].map({<br> "翻译": "将以下内容翻译成中文",<br> "解释": "用通俗语言解释以下概念",<br> "生成": "根据要求生成一段技术文档"<br>}).fillna("请按要求完成任务")
第三步：生成JSONL行记录并写入文件
逐行构造字典，确保input允许为空字符串但不能缺失，output不能为空值：
with open("dify_ready.jsonl", "w", encoding="utf-8") as f:<br> for _, row in df.iterrows():<br> record = {<br> "instruction": clean_text(str(row.get("instruction", ""))),<br> "input": clean_text(str(row.get("question", ""))),<br> "output": clean_text(str(row.get("answer", "")))<br> }<br> f.write(json.dumps(record, ensure_ascii=False) + "\n")
验证JSONL格式合法性
运行命令jq -c . dify_ready.jsonl | head -n 3，确认每行输出为独立JSON对象，且不含逗号结尾、括号不闭合或中文乱码。
若报错parse error: Invalid string: control characters from U+0000 through U+001F must be escaped，说明clean_text未清除ASCII控制字符，需追加text = re.sub(r'[\x00-\x1f]', '', text)。
验证通过后，该dify_ready.jsonl文件可直接上传至Dify「数据集」→「新建数据集」→「上传文件」。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
