Python中Scikit-learn如何进行层次聚类_使用AgglomerativeClustering

轻墨君_1712

轻墨君_1712

2026-05-01

672人浏览

原创

因为ward法基于方差最小化,其数学推导严格依赖欧氏距离的平方性质;若使用manhattan或cosine等距离,将破坏该假设,导致valueerror或结果失真。

python中scikit-learn如何进行层次聚类_使用agglomerativeclustering

直接用 AgglomerativeClustering 就行,但必须注意 linkage 和 affinity 的组合是否合法,否则会报错或结果失真。

为什么 linkage="ward" 时 affinity 只能是 "euclidean"

ward 连接法本质是最小化合并后簇内平方和(即方差增量),它依赖数据在欧氏空间中的几何性质。一旦换成 manhattan 或 cosine,距离不再对应平方误差,ward 的数学假设就崩了。

常见错误现象:ValueError: 'ward' linkage requires "euclidean" affinity

  • 如果坚持用 ward,必须传 affinity="euclidean"(默认值,可省略)
  • 想用其他距离度量(如余弦相似性),只能换 linkage="average" 或 "complete"
  • affinity="precomputed" 时,输入必须是**距离矩阵**(非相似度矩阵),且 linkage 不能为 "ward"

如何不预设簇数量,而是按距离阈值切树

当不知道该分几类时,用 distance_threshold 比硬设 n_clusters 更合理——它允许你从树状图中观察“跳跃式”距离变化点,再决定切割位置。

关键约束:n_clusters 必须为 None,且 compute_full_tree 自动设为 True(否则无法构建完整树)

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • 正确写法:AgglomerativeClustering(n_clusters=None, distance_threshold=5.0, linkage="average")
  • 错误写法:n_clusters=3 和 distance_threshold=5.0 同时出现 → 报 ValueError
  • 拟合后不能直接取 .labels_:若 distance_threshold 起作用,实际簇数可能少于你预期;需检查 .n_clusters_ 属性

连接方式(linkage)怎么选才不翻车

不同 linkage 对噪声、簇形状、计算开销影响极大,不是调参,而是建模前提的选择。

  • "single":对噪声极度敏感,容易形成“链式效应”,但能识别细长结构;时间复杂度低,但实践中很少用
  • "complete":偏好紧凑、大小相近的簇;对离群点鲁棒,但可能把本应分开的近邻簇强行压成一个
  • "average":折中选择,适合多数场景,尤其当簇大小差异较大时比 "ward" 更稳
  • "ward":只适用于各向同性、球形簇,且要求特征已标准化(否则量纲大的特征主导距离)

性能提示:"ward" 时间复杂度接近 O(n³),样本超 2000 就明显变慢;其余三种基本是 O(n²)。

加 connectivity 是为了什么,怎么加才有效

默认情况下,AgglomerativeClustering 认为任意两个样本都可能合并——这在高维稀疏数据或带空间/图结构的数据里不合理。加 connectivity 是强制算法只在“邻居间”合并,大幅提速并提升物理意义。

典型用法是配合 sklearn.neighbors.kneighbors_graph:

from sklearn.neighbors import kneighbors_graph
connectivity = kneighbors_graph(X, n_neighbors=5, include_self=False)
  • connectivity 必须是稀疏矩阵(scipy.sparse 格式),传稠密数组会爆内存
  • n_neighbors 太小 → 图不连通,聚出一堆孤立点;太大 → 接近无约束,失去意义
  • 加了 connectivity 后,compute_full_tree="auto" 默认为 False,如需树状图必须显式设为 True

真正容易被忽略的是:加了 connectivity 后,linkage 的语义变了——它只在图连通分量内生效,跨分量永远不会合并。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1711

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4344

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25357

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3087

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3107

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2423

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程