需完成三步数据准备：一、整理私有知识为脱敏、确定性、utf-8 csv格式的问答对；二、清洗标注对话数据并按8:1:1划分训练/验证/测试集；三、校验csv无bom、隐藏字符、换行符及逗号分隔错误。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望豆包AI在特定业务场景中准确理解专业术语、复现内部流程或精准响应定制化问答，则需为其提供结构化、合规的训练数据。以下是上传训练数据前必须完成的数据准备步骤：
一、整理并结构化私有知识为标准问答对
豆包AI知识库依赖明确的“问-答”映射关系进行语义索引，非结构化文档无法被有效解析与检索。将原始资料转化为机器可读的标准格式，是确保后续上传成功且生效的前提。
1、收集企业内部FAQ文档、产品说明书、服务协议、历史工单回复等文本材料，剔除含客户身份证号、手机号、银行卡号等敏感信息的条目。
2、将每条知识改写为单一、完整、无歧义的问答对，例如：“问：电子发票如何作废？答：登录电子税务局→选择‘发票管理’→点击‘已开发票作废’→勾选对应发票后提交。”
3、删除模糊表述（如“一般情况下”“可能需要”“建议联系客服”），确保答案具备确定性与可执行性。
4、保存为UTF-8编码的CSV文件，首行为question,answer，每行仅一条问答对，禁止空行、合并单元格及中文逗号分隔错误。
二、清洗与标注专属模型训练数据集
私有模型微调要求监督学习样本具备输入-输出对齐性与分布代表性，未经清洗的数据将导致模型泛化能力下降甚至产生幻觉输出。该步骤聚焦于构建高质量标注数据集，支撑模型权重精准调整。
1、从企业对话系统、客服日志或内部文档中导出原始文本，保留上下文完整的交互片段。
使用豆包（火山引擎 Ark）生成图片或视频并保存本地。用户提及“豆包生图/图片/生视频/视频”、“Doubao”、“Seedance”、“火山引擎图片/视频”时触发。
2、清洗数据：去除HTML标签、乱码字符、重复会话、测试用例及含隐私字段的记录，确保符合《个人信息保护法》要求。
3、按任务类型标注输入-输出对，例如将用户提问“如何重置OA密码？”标注为输入，将IT部门标准操作指南全文作为对应输出。
4、将全部数据划分为训练集、验证集、测试集，比例严格采用8:1:1，各集合间无交集且覆盖高频与长尾场景。
三、校验文件格式与内容合规性
上传失败多数源于格式隐性错误，而非网络或权限问题。系统在校验阶段仅识别特定结构缺陷，人工预检可避免反复上传失败与等待延迟。
1、用文本编辑器（如VS Code）以UTF-8无BOM方式打开CSV文件，确认无隐藏控制字符（如\u200B、\uFEFF）。
2、检查所有行是否严格遵循两列结构，使用英文逗号分隔，且引号未包裹整列内容（即不采用"xxx","yyy"格式）。
3、验证question列不含换行符、制表符及全角空格；answer列末尾无多余空行或“——”类分隔线。
4、随机抽取10行数据，在Excel中导入查看是否列对齐；若出现某行错位至第三列，则说明该行存在未转义的英文逗号。
