高质量word embedding依赖精准语料：通用任务用维基/新闻等多样语料，垂直领域须用真实行业文本，词粒度需保上下文，子词粒度重编码统一；清洗须字符级，涵盖去html、繁简转换、乱码修复与低信息过滤。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
训练高质量的 Word Embedding，数据准备不是“有文本就行”，而是决定模型语义能力的底层基础。清洗不彻底、结构不合理、领域不匹配，向量再高维也学不到真实语义关系。
明确目标，反向筛选语料类型
不同任务对语料的要求差异很大：
- 做通用语义理解（如搜索、问答）：优先选用大规模、风格多样的语料，比如中文维基百科、百度百科、新闻语料；
- 做垂直领域任务（如金融报告分析、医疗问诊）：必须用该领域真实文本，爬取行业白皮书、年报、病历摘要等，不能靠通用语料“凑数”；
- 做词粒度建模（如 word2vec）：需要保留完整上下文窗口，避免过度截断或拼接；
- 做子词或字粒度建模（如 BPE/SentencePiece）：原始文本无需分词，但需确保编码统一（UTF-8）、无乱码、无不可见控制字符。
清洗要细到“字符级”，不止删标点
清洗不是简单去空格和标点，而是消除影响语义建模的噪声源：
- 先用正则清除 HTML 标签、广告模板（如“【广告】”“↑↑↑点击下载”）、页眉页脚、重复分隔线（如“———”“***”）；
- 统一繁简：用 OpenCC 或 hanziconv 转为简体，避免“後”“裡”“為”等变体被当成不同词；
- 处理异常编码：检测并修复 GBK/UTF-8 混用导致的乱码（如“”“锟斤拷”），可借助 chardet + decode-replace 流程；
- 过滤低信息文本：剔除纯数字串、过短句（
- 慎用“去停用词”：word2vec 类模型依赖上下文共现，过早删掉“的”“了”“在”可能破坏语法结构，建议留到后期评估阶段再试。
构建适合嵌入训练的文本格式
最终输入给模型的不是“一篇文章”，而是一系列语义连贯、长度可控的文本单元：
- 按自然段落或句子切分：避免跨段拼接，防止“上一段结尾+下一段开头”形成虚假上下文；
- 控制单条长度：word2vec 建议每条 20–200 字，太短缺乏上下文，太长易引入噪声；
- 保存为纯文本行格式（.txt）：每行一条样本，不带编号、ID 或标签，例如：
他走进医院，挂号后等待叫号。
这款手机电池续航很强，日常使用两天一充。 - 若用 Gensim 训练，可直接传入 Python 列表，每项是分好词的 list（如 ["他", "走进", "医院", "挂号", "后", "等待", "叫号"]），无需额外 tokenization 文件；
- 注意保留标点：中文标点（，。？！）本身携带句法边界信息，对 skip-gram/CBOW 建模有帮助，不建议全局删除。
规模与质量的实用平衡建议
语料不是越多越好，而是“够用+干净+相关”：
- 入门实验：100MB 清洗后纯文本（约 5000 万字）已能训出可用 baseline；
- 工业级部署：建议 ≥500MB，覆盖多个子领域（如维基+新闻+论坛帖），提升泛化性；
- 做一次语义去重：用 SimHash 或 MinHash 快速识别内容高度重复的段落（如转载新闻、模板化客服回复），保留一份即可；
- 留出 5% 数据作 hold-out 验证集：不参与训练，用于后期人工抽检向量质量（如查“苹果”近邻是否含“香蕉”“梨”“iPhone”）。
