sft数据清洗与标注需三步：先按长度筛除无效样本，再用ast.parse检测语法错误，最后语义去重；标注须含user_intent、context_snippet、expected_action三元结构或规则补全；每样本须配可执行验证脚本及边界扰动变体，并剔除ast差异＜3的无意义修复。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要为Qoder大模型准备SFT训练数据，但原始爬取的代码问答对里混着半截报错、重复提交、无意义空回复和OCR识别错字——直接喂给模型，它会学会在函数名里插入乱码、把df.head()写成df.haed()，甚至在修复逻辑漏洞时主动删掉关键判断条件。
清洗SFT数据：先砍掉70%的无效样本
第一步：用长度阈值筛掉明显异常样本。执行命令：df = df[(df['instruction'].str.len() > 8) & (df['output'].str.len() > 15)]。过短的instruction无法构成有效任务指令（如“修bug”），过短的output大概率是“OK”“已修复”这类无信息量反馈，强行保留会污染loss计算路径。
第二步：批量检测并移除含Python语法错误的output。用ast.parse()逐条解析output字段，捕获SyntaxError和IndentationError，将对应行标记为is_code_invalid=True。这一步不能跳过——Qoder对代码生成的语法正确性有硬性要求，而模型不会自己修正训练数据里的语法错误，只会学会模仿错误模式。
第三步：用语义去重替代字符串去重。对instruction列使用sentence-transformers/all-MiniLM-L6-v2生成向量，计算余弦相似度，将相似度＞0.92的样本组中保留output更长、包含更多变量名和函数调用的那个。例如：“怎么合并两个DataFrame”和“pandas里如何把df1和df2按列拼起来”会被判为近重复，但后者明确提到了对象名和操作维度，信息密度更高，应保留。
标注SFT数据：让每条样本都带执行意图
方法一：人工标注三元结构
对每条样本强制拆解为「用户目标→当前上下文→预期动作」三部分，并填入固定字段：user_intent（如“修复索引越界错误”）、context_snippet（报错前3行+报错行+traceback首行）、expected_action（如“在循环开始前添加if len(numbers) > 0判断”）。这个结构不是可选项——Qoder的SFT头层attention机制依赖显式意图信号来对齐代码修改位置，缺失user_intent会导致梯度无法反向传播到关键token。
方法二：用规则引擎自动补全缺失字段
从零搭建飞书机器人。支持 MiniMax/MiMo 等模型、工具调用（搜索/天气/百科/记忆）、Skill 架构。一站式交付可上线运行的飞书群聊 bot。基础版本，后续可自行升级能力
当output中出现df.iloc[且未标注context_snippet时，自动从原始日志中提取最近一次df.shape或len(df)调用行作为上下文；当instruction含“为什么”“报错”“不工作”等词时，将user_intent设为debug_runtime_error。注意：【所有自动补全字段必须加_is_auto:true标记，否则后续评估阶段无法区分人工标注置信度】。
构造高质量样本：从修复案例到可执行验证
第一步：确保每条样本附带可运行验证脚本
在data目录下为每条样本创建test_<uuid>.py</uuid>，内容必须包含：原始出错代码块、标注的修复代码块、断言验证逻辑（如assert result == expected_output）。没有验证脚本的样本不参与训练——Qoder的SFT loss函数会在训练前调用该脚本做预检，失败则跳过该样本。
第二步：注入边界条件扰动
对每个验证通过的样本，生成3个扰动变体：① 将原代码中数字常量±1（如range(10)→range(9)）；② 替换变量名为同义词（如user_list→client_array）；③ 在函数入口添加if not data:空输入保护。这三类变体不新增instruction，仅替换output中的修复代码，目的是强化模型对参数鲁棒性的建模能力。
第三步：剔除无差异修复样本
若某样本的原始代码与修复后代码在AST节点树上仅有＜3个节点差异（如只改了一个符号或变量名），且验证脚本断言仅检查输出类型而非值，则该样本直接丢弃。Qoder需要学习的是逻辑重构，不是符号替换。
