agglomerativeclustering无法直接绘制树状图,需用scipy.cluster.hierarchy的linkage和dendrogram重做聚类;参数(method、metric、标准化)须与sklearn完全一致,切割时用fcluster(z, t=n, criterion='maxclust')可获相同标签。

AgglomerativeClustering 本身不支持直接画树状图
scikit-learn 的 AgglomerativeClustering 是为聚类结果服务的,它只返回每个样本的簇标签(labels_),内部距离矩阵和合并顺序都被丢弃了。想画树状图(dendrogram),必须用 scipy.cluster.hierarchy 重做一次层次聚类——不是调用 sklearn 的模型,而是用 scipy 的 linkage 和 dendrogram。
用 scipy.linkage 替代 AgglomerativeClustering.fit
核心是把样本距离计算和连接过程显式拆开,才能喂给 dendrogram:
-
linkage输入必须是距离矩阵(或原始数据 +metric参数),输出是连接矩阵(Z)——这正是树状图需要的结构 - sklearn 默认用欧氏距离,scipy 也默认
metric='euclidean',但要保持一致就得显式指定,尤其当数据未标准化时,距离尺度会极大影响树形 - 连接方法(
method)必须和 sklearn 的affinity+linkage参数对齐:比如 sklearn 的linkage='average'对应 scipy 的method='average';linkage='complete'→method='complete' - 别直接传
fit(X)的结果过去——linkage不接受已拟合模型,只吃X或pdist(X)
示例(以 average linkage 为例):
from scipy.cluster.hierarchy import linkage, dendrogram from scipy.spatial.distance import pdist <p>Z = linkage(X, method='average', metric='euclidean') dendrogram(Z) </p>
如何让 scipy 树状图和 sklearn 聚类结果一致
树状图只是可视化,真正分簇还得靠切割。想让 AgglomerativeClustering 的 n_clusters=3 和树状图上切三块对应,得用 fcluster 按阈值或簇数切 Z:
- 用
fcluster(Z, t=3, criterion='maxclust')得到和AgglomerativeClustering(n_clusters=3)完全一致的标签(前提是method、metric、X全部相同) - 不要用
t直接设距离阈值(如t=5.0),因为linkage输出的 Z 中距离值是归一化/平方过的,和原始欧氏距离数值不等价;criterion='maxclust'更可靠 - 如果用了
distance_threshold(sklearn 0.22+),那对应 scipy 就得用fcluster(Z, t=threshold, criterion='distance'),但注意这个threshold是 scipy 原生距离尺度,需实测校准
常见报错和坑点
画树状图时最常卡在这几个地方:
-
ValueError: Negative distances not supported:X 含缺失值(np.nan)或做了非法缩放(如负数标准化)。先跑np.isnan(X).any()检查 - 树状图看起来“挤”成一团、分叉模糊:没做特征标准化。层次聚类对量纲极度敏感,
StandardScaler().fit_transform(X)必做 - 用
pdist(X, metric='correlation')后传给linkage,结果和 sklearn 的affinity='precomputed'对不上——因为 sklearn 的 correlation 默认是 1 - |r|,而 scipy 默认是 1 - r;得统一用1 - np.corrcoef(X, rowvar=False)预算距离矩阵再传入 - 样本数 > 1000 时
dendrogram渲染极慢甚至 OOM:用truncate_mode='level', p=5限制只画前 5 层,或改用plot_dendrogram(sklearn 1.2+)这类简化版
树状图本质是展示合并历史,不是最终分类器;一旦你依赖它做切割,就得全程用 scipy 生态,和 sklearn 的 AgglomerativeClustering 保持参数镜像,否则标签对不上是大概率事件。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











