codebuddy生成etl代码异常因提示词缺失质量校验与错误捕获约束；需细化提示词明确清洗策略、配置双路径输出与溯源标签、注入调试断点、绑定外部规则库实现动态加载。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您使用CodeBuddy生成ETL数据管道代码，但发现清洗逻辑不完整、转换规则未生效或异常记录缺失，则可能是由于提示词未明确约束数据质量校验与错误捕获机制。以下是解决此问题的步骤：
一、细化提示词以强制触发清洗与异常处理逻辑
CodeBuddy的输出质量高度依赖输入指令的精确性。当需求中未显式要求“空值填充策略”“类型强制转换”“异常行隔离写入”等行为时，模型默认仅实现基础提取与映射，忽略鲁棒性设计。
1、在向CodeBuddy提交请求前，在自然语言描述中加入结构化约束条款，例如：“对customer_age字段执行int类型强转，失败则将整行写入error_log表，并保留原始字符串值”。
2、明确指定清洗动作的覆盖范围，如：“删除tonnage为空或
3、强制要求输出含异常分支的完整代码块，例如：“必须包含try-except包裹转换逻辑，且except内调用log_error(row, ‘invalid_tonnage_format’)函数”。
二、引入Schema断言与CDC质量检查模块
仅靠单次清洗无法保障长周期ETL管道的数据一致性。需在CodeBuddy生成的脚本中嵌入运行时Schema验证，拦截上游变更引发的隐性错误，并利用CDC机制追踪异常源头。
1、要求CodeBuddy在读取阶段插入pandas.DataFrame.dtypes校验语句，比对预设schema，对字段类型偏移发出警告并终止流程。
2、添加自动加载器（Auto Loader）配置项，启用cloud_files()参数中的schema_evolution = "fail"，确保结构变更立即暴露而非静默兼容。
3、在清洗后插入质量检查函数调用，例如：check_null_ratio(df, 'id') > 0.05 → 触发告警并导出高危样本至/quarantine路径。
三、配置双路径输出与错误溯源标签
合格的ETL管道必须分离主数据流与异常数据流，且每条异常记录需携带可追溯元信息，否则无法定位原始源文件位置及行号。
1、指示CodeBuddy生成两套写入逻辑：主路径写入cleaned_data表，异常路径写入raw_errors表，后者必须包含source_file_name、line_number、error_type、raw_content四列。
CodeBuddy Code CLI 的安装、配置与使用指南。CodeBuddy Code 是腾讯推出的 AI 驱动 CLI 编程助手，支持自然语言驱动开发。 - 必备触发词：CodeBuddy, codebuddy, AI CLI, Tencent AI coding, @tencent-ai/codebuddy-code, terminal AI assistant - 适用场景：安装 CodeBuddy CLI、配置 CodeBuddy、使用 CodeBuddy 命令、排查 CodeBuddy 问题
2、在解析CSV/Excel时启用pandas.read_csv的keep_default_na=False与na_values=['', 'NULL', 'N/A']，防止空字符串被误判为NaN而丢失上下文。
3、对每一行执行清洗操作前，注入唯一trace_id字段，格式为“{source_hash}_{batch_seq}_{row_index}”，确保跨系统日志可关联。
四、注入人工审核锚点与可调试断点
AI生成的ETL代码若缺乏可观测入口，将导致异常发生后无法快速介入干预。需在关键节点插入显式断点与中间结果快照机制。
1、要求CodeBuddy在清洗后、转换前、聚合前三个环节分别插入write_to_delta(path=f"/debug/after_clean_{timestamp}")语句，保存中间状态。
2、在所有字符串标准化操作（如大小写统一、空格裁剪）后，附加assert df['product_name'].str.len().min() > 0，失败则抛出AssertionError并记录当前批次摘要。
3、为每个转换函数添加@log_execution_time装饰器，自动记录耗时、输入行数、输出行数、丢弃行数，输出至metrics_log表。
五、绑定外部知识库实现动态规则加载
硬编码清洗规则难以应对业务口径频繁变更。应驱动CodeBuddy生成支持外部规则注入的架构，使清洗逻辑与配置解耦。
1、生成代码中预留rules_config = spark.read.table("catalog.schema.etl_rules")读取入口，按rule_type='null_fill'、target_column='channel_section'匹配执行填充动作。
2、异常分类逻辑不写死在代码中，而是调用udf(validate_rule_id)函数，该UDF从delta表rules_lookup中实时拉取最新判定条件。
3、在脚本头部声明required_configs = ["tonnage_min_threshold", "date_format_pattern"]，启动时校验conf_dict是否包含全部键，缺失则抛出ConfigMissingError并中断执行。
