需先安装gensim和jieba,中文用jieba分词并清洗标点乱码,输出二维词列表;word2vec训练关键参数包括vector_size=100、window=5、min_count=2、sg=1;训练后验证相似词与语义距离,并保存模型及向量文件。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

准备环境与基础依赖
先装好核心工具:运行 pip install gensim jieba 即可。中文文本必须用 jieba 分词,英文可跳过;如果后续要做可视化或评估,再加 scikit-learn 和 matplotlib。推荐用 Python 3.8 环境,兼容性最稳,4GB 内存的笔记本也能跑起来。
清洗并分词原始文本
真实语料往往带标点、空行、乱码。用正则清理后,再交给 jieba 切词:
- 用 re.sub(r'[^\w\s]', '', line) 去掉标点和特殊符号
- 对每行调用 jieba.lcut() 得到词列表,过滤掉空字符串和单字(如“的”“了”可按需保留或剔除)
- 人名、专有名词容易被切错,可用 jieba.suggest_freq("高育良", True) 提前加固
最终输出是形如 [["我", "爱", "自然语言处理"], ["深度学习", "应用", "广泛"]] 的二维列表,这是 Word2Vec 的合法输入格式。
配置并训练 Word2Vec 模型
关键参数要理解用途,不是随便填数字:
- vector_size=100:向量维度,100–300 是常用范围,太小损失语义,太大增加计算开销
- window=5:上下文窗口,即目标词前后各看几个词;中文建议 3–5,英文可稍大
- min_count=2:低于该频次的词直接丢弃,避免噪声干扰;小语料可设为 1
- sg=1:启用 Skip-gram 模式,对小数据更鲁棒;设为 0 则是 CBOW
- workers=4:利用多核加速,设为 CPU 核心数即可
训练代码就一行:model = Word2Vec(sentences, vector_size=100, window=5, min_count=2, workers=4, sg=1),几秒到几分钟内完成,取决于语料规模。
验证与导出词向量
训练完别急着用,先快速验证效果:
- 查相似词:model.wv.most_similar("人工智能", topn=5),看返回是否合理(如“机器学习”“深度学习”)
- 算向量距离:model.wv.similarity("猫", "狗") 应明显高于 model.wv.similarity("猫", "冰箱")
- 保存模型:model.save("my_word2vec.model"),下次直接 Word2Vec.load() 调用
- 导出为文本格式(方便其他工具读取):model.wv.save_word2vec_format("vectors.txt", binary=False)
不复杂但容易忽略。











