jieba适合作为中文分词预处理工具，tfidfvectorizer更适合跨文档关键词提取与权重计算；直接用jieba分词结果作关键词易受虚词干扰，需配合停用词过滤与tf-idf加权。
关键词提取用 jieba 还是 sklearn.feature_extraction.text.TfidfVectorizer？
中文场景下，jieba 更适合作为预处理工具，而非直接提取“关键词”——它切词快、可调词典，但不评估词重要性；真正做关键词打分得靠统计或模型。如果只是从单篇文本里挑出几个高频词，jieba + 词频排序够用；但要做跨文档对比、筛选区分性强的关键词（比如“服务器宕机”比“今天”更有分类价值），必须上 TfidfVectorizer 或 KeyBERT 这类带语义的方案。
常见错误是：直接用 jieba.lcut() 结果去当关键词喂给分类器，没去停用词、没归一化、没考虑词权重，导致“的”“了”“和”这类虚词占高位，分类效果差。
- 中文停用词表至少用
hit_stopwords.txt或cn_stopwords.txt，别手写几条就跑 -
TfidfVectorizer的max_features=5000和min_df=2得调，小样本设太低会漏特征，大样本设太高内存爆掉 - 如果文本长度差异极大（有的10字，有的2000字），加
sublinear_tf=True能缓解长文本对TF的放大效应
分类任务该用 sklearn.svm.SVC 还是 sklearn.ensemble.RandomForestClassifier？
短文本（SVC 配合 Tfidf 特征通常更准；但训练慢、调参麻烦（C 和 kernel 影响大），且无法直接输出概率——线上服务要置信度就得套 CalibratedClassifierCV。
长文本、多类别、样本超5万时，RandomForestClassifier 更稳：不用标准化、抗噪声强、能看特征重要性（反推哪些关键词真起作用），但容易过拟合，max_depth=10 和 n_estimators=100 是安全起点。
- 别用
DecisionTreeClassifier单棵树——泛化太差，尤其文本特征稀疏时 - 分类前务必做
train_test_split，且stratify=y，否则小众标签在测试集里消失，指标失真 - 验证阶段别只看准确率，
classification_report里的f1-score按类别看，特别是少数类
怎么把关键词提取和分类串成一个可复用的 pipeline？
核心是把清洗、向量化、建模三步封装成类，而不是写一堆脚本拼接。重点不是“能不能跑”，而是“下次换数据要不要改5个地方”。例如停用词路径、模型保存路径、阈值判断逻辑，全得参数化。
容易被忽略的是异常文本处理：空字符串、全是标点、编码乱码（UnicodeDecodeError）。这些不提前过滤，TfidfVectorizer 会报 ValueError: np.nan is not allowed，而错误堆栈根本看不出源头在哪。
- 输入文本先走一遍
re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9\s]', '', text)清脏字符 - 用
try/except包住单条文本处理，记录failed_ids日志，别让一条坏数据崩掉整批 -
joblib.dump()保存整个 pipeline（含 vectorizer + classifier），别分开存——加载时顺序错就失效
大批量运行时内存爆掉或速度慢怎么办？
一次性读几千个文件进内存再切词，Python 很容易 OOM。关键不是优化算法，而是控制数据流：用生成器逐个读、批处理向量化、分块训练。
典型陷阱是 pandas.read_csv(...) 默认加载全部，哪怕你只取两列；还有 fit_transform() 对百万级文本直接开二维矩阵，稀疏矩阵也撑不住。
- 文本读取用
pathlib.Path(dir).glob("*.txt")+yield，别os.listdir()后全 load -
TfidfVectorizer.fit_transform()改成partial_fit分批（需先fit一次获取 vocabulary） - 预测阶段用
classifier.predict_proba(X_batch)而非predict()，避免中间结果缓存
真正卡住的往往不是模型本身，而是日志写入频率、临时文件没清理、或者用了 print() 在循环里刷屏——这些在本地测不出问题，上服务器批量跑就拖慢十倍。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
