应选SphericalKMeans而非KMeans，因文本向量归一化后方向（余弦相似度）比模长更重要；KMeans误将文档长度等模长差异当作聚类依据，导致短文档边缘化、收敛差等问题。
为什么不用KMeans而选SphericalKMeans
标准KMeans最小化欧氏距离，隐含假设数据在各向同性球形分布中——但文本向量经TF-IDF或词向量归一化后，方向比模长更重要。余弦相似度只看夹角，天然适配单位球面；若硬用KMeans，会把模长差异（比如文档长度）误当作聚类依据，导致短文档被边缘化。
常见错误现象：KMeans跑完发现簇中心向量模长差异大、同一簇内文档长度高度相关、高维稀疏向量下收敛慢甚至不收敛。
- 必须对输入向量做L2归一化（
sklearn.preprocessing.normalize），否则SphericalKMeans内部归一化不可控，尤其TF-IDF矩阵未归一化时结果飘忽 -
SphericalKMeans不接受稀疏矩阵直接输入（部分旧版本会静默转稠密），内存爆炸风险高；建议先用scipy.sparse.csr_matrix+normalize(..., norm='l2')预处理 - 初始化用
'k-means++'效果通常不如'random'——因单位球面上点分布均匀，k-means++的“远点优先”策略失效，实测init='random'更稳定
如何正确加载和预处理文本向量
关键不是“能不能跑”，而是“向量空间是否对齐余弦度量”。TF-IDF本身不保模长，必须归一化；而Sentence-BERT等嵌入需确认是否已单位化（如sentence-transformers/all-MiniLM-L6-v2输出默认未归一，得手动normalize）。
使用场景：中文需加jieba分词+停用词过滤，但注意别过度清洗——“AI”“5G”这类术语被切碎会破坏语义向量质量。
- TF-IDF路径：用
TfidfVectorizer(max_features=10000, stop_words=stopwords)→fit_transform→normalize(X, norm='l2') - Embedding路径：用
model.encode(texts, convert_to_tensor=True)→torch.nn.functional.normalize或sklearn.normalize - 避免混用：别把TF-IDF向量和BERT向量拼接后直接喂给
SphericalKMeans，量纲和分布完全不同
SphericalKMeans参数调优的关键陷阱
SphericalKMeans没有metric参数可设（它固定用余弦），但max_iter和n_init极易被低估。文本聚类常需更高迭代次数才能在高维球面上稳定收敛。
-
max_iter=300是底线，稀疏TF-IDF向量建议设为500；低于100大概率提前终止于局部极值 -
n_init=10不够，文本数据噪声大，建议20~50；但别盲目堆高——每次init都重跑全部迭代，耗时线性增长 -
tol别设太小（如1e-6），单位球面梯度平缓，1e-4足够；设太小会导致无效循环 - 没有
precompute_distances选项（已弃用），别在参数里写这个
评估聚类质量不能只看inertia
SphericalKMeans.inertia_是球面余弦距离的近似（实际算的是1 - cosine_similarity均值），数值越小不代表聚类越好——它不反映语义连贯性，且随n_clusters增加必然下降。
真正要盯的是业务指标：人工抽检每簇Top5文档是否主题一致；或用silhouette_score（传metric='precomputed' + 自己算余弦距离矩阵），但注意该分数在高维稀疏下易失真。
- 别用
calinski_harabasz_score——它基于方差，和球面假设冲突 - 如果要用轮廓系数，先算余弦相似度矩阵：
cosine_similarity(X)→1 - matrix→ 传给silhouette_score(..., metric='precomputed') - 最省事的验证：对每个簇取中心向量，用
cosine_similarity查最近的10个原始向量，肉眼扫一遍是否语义合理
实际项目中最容易被忽略的是向量归一化时机——在Pipeline里漏掉normalize，或在TF-IDF后、聚类前又做了额外标准化，都会让整个球面假设崩塌。宁可多打印一次X[0].sum()确认模长是1.0，也别信“应该没问题”。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
