应采用openclaw+qwen3.5构建结构化清洗指令流、cli预处理+claude 3.5语义归因双阶段清洗、langchain agent动态多表联合清洗三步法，分别解决规则生成、效率优化与复杂依赖问题。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您需要对多源异构CSV数据执行标准化清洗，但手动编写Python脚本耗时且易出错，则可能是由于字段命名混乱、日期格式不统一、术语表达多样导致逻辑难以复用。以下是解决此问题的步骤：
一、使用OpenClaw+Qwen3.5构建结构化清洗指令流
该方法依托Qwen3.5-4B-Claude模型的结构化输出能力，将自然语言清洗需求自动转译为可执行的JSON清洗规则，再由OpenClaw调度pandas技能模块执行，避免人工编写重复逻辑。
1、在OpenClaw控制台中创建新工作流，选择“文件监控”技能监听指定目录下的.csv文件。
2、添加“AI推理”节点，输入提示词：“请分析以下三张表的字段映射关系与清洗需求，并以JSON格式返回标准化规则：表1含列[ID,Name,Gender,Visit_Date,Diagnosis,HbA1c]；表2含[ID,Name,Sex,Date,Type,Value]；表3含[Patient_ID,Patient_Name,Gender,Check_Time,Disease,HbA1c_Level]。”
3、配置输出解析器，将模型返回的JSON中date_format、gender_mapping、diagnosis_normalization等字段自动注入后续清洗步骤。
4、连接“pandas清洗器”技能，启用自动列名对齐与缺失值标记功能，确保所有表统一输出为[ID, Name, Gender, Date, Diagnosis, HbA1c]结构。
二、通过CLI预处理+Claude 3.5语义归因双阶段清洗
该方法将计算密集型操作（如分块读取、滑动窗口统计）交由本地工具完成，仅将精简后的异常标记与元信息送入Claude 3.5进行归因解释，显著降低模型token消耗并提升结果可信度。
1、使用csvkit命令提取各表关键字段并生成摘要CSV：csvsql --query "SELECT ID, Name, MAX(Visit_Date) AS latest_date FROM table1.csv GROUP BY ID" table1.csv > summary1.csv
当用户请求“启用语义缓存”、“缓存LLM响应”、“降低API成本”、“加速AI响应”、“配置LangCache”、“搜索语义缓存”、“存储响应到缓存”，或提及Redis LangCache、语义相似性缓存、LLM响应缓存时使用此技能。提供与Redis LangCache托管服务的集成，用于对提示和响应进行语义缓存。
2、运行awk脚本为每行添加清洗建议标签：awk -F',' '{if($3~/男|Male|M/) print $0 ",Male"; else if($3~/女|Female|F/) print $0 ",Female"; else print $0 ",UNKNOWN"}' summary1.csv > tagged_summary1.csv
3、将tagged_summary1.csv内容连同系统提示“你是一名医疗数据治理专家，请根据以下带标签的摘要数据，指出需人工复核的3条最高风险记录并说明理由”提交至Claude 3.5 API。
4、接收JSON格式响应，提取risk_records数组中的ID与归因描述，写入final_review_log.xlsx供下游审核。
三、基于LangChain Agent的动态多表联合清洗
该方法利用LangChain的Tool抽象机制，使Claude 3.5能在运行时自主决定调用哪张表的清洗函数、是否触发外部校验服务、何时合并中间结果，适用于存在条件分支与跨表依赖的复杂场景。
1、定义三个自注册Tool：load_csv（参数：filepath）、standardize_gender（参数：series）、merge_on_id（参数：df_list）。
2、初始化ChatAnthropic客户端，设置temperature=0.3以抑制随机性，max_tokens=2048保障长上下文处理能力。
3、构造Agent PromptTemplate，强制要求其在调用merge_on_id前必须完成所有单表的date_format校验与Diagnosis术语映射。
4、传入原始三表路径列表，启动Agent执行流程，捕获中间日志中tool_usage_sequence字段验证执行顺序是否符合预设治理策略。
