LDA在大文本上跑不动主因是Gensim默认将全部文档和词典载入内存导致OOM；应分批建词典、过滤极端词、禁用prune_at，默认workers=1，确保分词干净且版本一致。
为什么LDA在大文本上跑不动？内存爆了就卡死
不是模型本身慢，是Gensim默认用Dictionary和Corpus把所有文档一次性载入内存，词表一过10万、文档超百万行，Python进程直接OOM。尤其当你用LineSentence读文件却没设limit，或误把原始文本（非分词后）喂给Dictionary.build()，词表会膨胀几十倍。
实操建议：
- 分批构建词典：用
Dictionary(documents[:50000])先试建，再用.add_documents()增量更新，避免一次性扫全量 - 强制过滤低频词：
filter_extremes(no_below=5, no_above=0.8)，否则停用词+拼写错误+ID类字符串全进词表 - 禁用
prune_at默认值（200000），设成None或明确小数值，否则Gensim会在build时强行截断，导致后续doc2bow报KeyError
怎么让LDA只吃内存不占CPU？别碰workers
很多人看到workers参数就设成-1或os.cpu_count()，结果发现训练变慢、内存翻倍、甚至死锁——因为Gensim的LDA（LdaModel）在多进程模式下会为每个worker复制整份corpus和id2word，不是共享内存。16G机器跑100万文档，开4个worker可能瞬间吃掉48G。
实操建议：
- 单机大文本一律设
workers=1（默认值），靠batch_size和chunksize控制内存节奏 -
chunksize设为500–2000之间：太小（如100）导致I/O频繁；太大（如10000）会让单次迭代内存峰值飙升 - 如果必须并行，改用
lda_worker+distributed=True，但需额外搭Redis或ZMQ，普通场景没必要
doc2bow返回空列表？分词没做干净就硬喂
常见现象：训练完模型，调lda_model[doc_bow]却返回空结果，或者get_document_topics()全为[]。根本原因不是LDA出错，是doc2bow输入的文档token全是停用词、标点、数字或未登录词，过滤后变成空list。
实操建议：
- 检查分词输出：
print([t for t in tokens if t in lda_model.id2word.token2id])，如果为空，说明词典没覆盖这些词 - 分词后务必小写+去标点+去数字：
re.sub(r'[^a-zA-Z\u4e00-\u9fa5]+', ' ', text).strip().split()，中文注意加\u4e00-\u9fa5 - 构造
Dictionary前，先用filter_tokens(bad_ids=[...])手动剔除明显噪声token（如“http”、“img_123”）
保存/加载模型后get_topic_terms报错？路径和版本要对齐
Gensim 4.x废弃了.save()/.load()，改用save_npz/load_npz，但老教程还在用pickle方式。你用4.3.2保存，同事用3.8.3加载，AttributeError: 'LdaModel' object has no attribute 'state'立马出现；或者用lda_model.save("model")却忘记加.model后缀，加载时找不到文件。
实操建议：
- 统一用
lda_model.save("model.gensim")和LdaModel.load("model.gensim")，这是跨版本最稳的方式 - 生产环境部署前，用
gensim.__version__校验两边版本，4.0+和3.x不兼容 - 别依赖
model.print_topics()看效果——它只抽前10词，实际get_topic_terms(topicid, topn=20)才能看出低频但关键的术语是否被压扁
真正卡住的从来不是算法，是词典膨胀、内存误配、分词断层和版本错位。调参之前，先确认len(lda_model.id2word)有没有意外突破50万，这个数比perplexity更早暴露问题。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
