qclaw提供五种数据清洗路径:一、调用内置行业模板自动标准化字段、单位与校验;二、构建自定义文本工作流剔除无关内容并规范时间格式;三、通过file-skill语义识别批量重命名归类文件;四、嵌入python脚本执行复杂业务逻辑清洗;五、对接微信实现模糊条目人工复核闭环。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您需要对原始业务数据进行结构化整理、去除干扰信息并统一格式标准,QClaw可作为自动化数据清洗与预处理工具介入。以下是多种可行的操作路径:
一、使用内置行业清洗模板
QClaw针对高频业务场景(如房产交易、财务报表、供应商报价)预置了专用清洗模板,能自动识别字段别名、单位混用、日期格式混乱等问题,并执行标准化映射与逻辑校验。
1、在QClaw工作流编辑器中新建任务,选择「数据清洗」节点;
2、点击「模板选择」,从下拉列表中选取对应行业,例如「房产交易清洗模板」或「财务数据清洗模板」;
3、上传原始文件(支持Excel、CSV、PDF扫描件);
4、模板将自动执行字段对齐(如将“总价”“成交价”“合同金额”统一映射为total_price)、单位归一(万元→元)、异常值标记(如单价低于5000元/m²或高于15万元/m²时标为待复核);
5、导出清洗后结构化数据,保留原始文件备份路径供回溯。
二、构建自定义文本清洗工作流
对于非标文档(如航道水文报表、微信导出聊天记录、扫描PDF合同),需通过多节点组合实现语义级清洗,重点剔除页眉页脚、水印、广告、参考文献等无关内容,仅保留核心正文段落。
1、添加「文件读取节点」,指定本地路径(如D:\water_data\20260518.xlsx);
2、接入「文本清洗节点」,启用规则:删除含“第X页”“©”“参考文献”“致谢”字样的行;
3、配置正则表达式过滤器,清除连续空格、不可见控制字符及乱码符号;
4、启用时间格式标准化模块,将“2026/05/18”“2026-05-18”“2026年5月18日”统一转为YYYY-MM-DD;
5、运行流程,输出纯正文文本块,供后续向量化或分析节点调用。
三、结合file-skill进行文件级批量预处理
当清洗对象为大量分散的本地文件(如桌面杂乱文档、C盘临时报表、D:\data目录下的历史日志),file-skill可基于AI语义理解自动识别文件类型、提取关键字段并重命名归类,实现前置结构化。
1、确保QClaw已加载file-skill(触发词:“整理桌面”“文件整理”“清理C盘”);
2、在对话框输入指令:“请将D:\data目录下所有2026年生成的Excel文件,按‘水位’‘流速’‘能见度’关键词重命名,并移入对应子文件夹”;
3、QClaw调用本地文件系统API,扫描文件名与首行表头;
4、对匹配项执行批量重命名,例如原文件“日报_5.17.xls”改为水位_20260517.xlsx;
5、完成移动后生成操作日志,记录每份文件的新路径与变更摘要。
四、调用Python脚本扩展清洗能力
对于需嵌入复杂业务逻辑的清洗任务(如航标异常判定阈值动态调整、销售费用超预算原因标注),可在QClaw中嵌入自定义Python代码节点,调用pandas、re、datetime等库完成深度处理。
1、在工作流中插入「Python执行节点」;
2、粘贴清洗脚本,例如:读取Excel后,对“费用超支率”列执行if x > 0.08: label = "需说明原因"逻辑;
3、设置输入参数映射(如将上一节点输出的DataFrame自动传入df变量);
4、启用沙箱模式运行,防止脚本影响主机环境;
5、将返回结果自动注入下一节点(如文档生成或微信推送)。
五、对接微信联动实现人工复核闭环
清洗过程中发现无法自动判定的模糊条目(如手写PDF中疑似“红色预警”的潦草标注、多义缩写“GL”指代不明),QClaw可截取片段并推送至绑定微信,由人工确认后回传修正指令,形成人机协同清洗链路。
1、在清洗节点后添加「条件分支」,设置触发规则:当某字段匹配正则r"疑似|可能|待确认|?"时进入人工通道;
2、自动截图异常数据区域,生成带编号的待办事项(如#Q20260519001);
3、通过微信推送消息:“【QClaw清洗待复核】#Q20260519001:D:\water_data\20260518.xlsx第42行‘能见度’值为‘
4、接收微信回复后,自动更新该行标记状态并继续流程;
5、所有人工交互记录存入本地audit_log.csv,包含时间戳、操作人、判定依据。











