在Python中如何正确处理混合数据类型的距离度量与聚类

夏萱大大_6572

夏萱大大_6572

2026-11-21

262人浏览

原创

混合类型数据聚类需用Gower距离等分类型处理方法,避免独热编码导致的维度爆炸;KMeans不适用,应选层次聚类或DBSCAN(metric="precomputed")。

在python中如何正确处理混合数据类型的距离度量与聚类

混合数据类型无法直接用 sklearn.metrics.euclidean_distances

欧氏距离、余弦相似度等默认只接受数值型矩阵,遇到字符串、布尔值、类别标签(如 "red"、True、"high")会直接报 ValueError: Expected 2D array, got 1D array instead 或更隐蔽的 TypeError: ufunc 'subtract' did not contain a loop with signature matching types。这不是数据形状问题,而是类型不兼容——numpy 无法对字符串做减法。

常见错误做法是暴力 pd.get_dummies() 全量独热编码:类别数多时(比如用户ID、地址文本)会导致维度爆炸,稀疏性高,距离失去意义;布尔字段被转成 0/1 后,和数值字段量纲差异巨大,未经标准化的距离计算结果不可信。

正确思路是分类型处理:

  • 数值型字段:标准化(推荐 StandardScaler 或 RobustScaler,避免异常值干扰)
  • 有序类别(如 "low"/"medium"/"high"):映射为整数并归一化
  • 无序类别(如 "cat"/"dog"/"bird"):用 Gower 距离或自定义匹配函数(相同为 0,不同为 1)
  • 二元字段(bool 或 {0,1}):直接作为 0/1 使用,不额外编码

用 gower.gower_matrix 计算混合距离矩阵

Gower 距离天然支持混合类型:对每列单独归一化后加权平均,权重默认均等,可手动调整。它不依赖向量空间假设,比强行独热+欧氏更合理。

安装与基础用法:

pip install gower

注意:gower 包输入必须是 pandas.DataFrame,且列类型需明确(数值列用 float 或 int,类别列用 object 或 category):

  • 确保数值列没被误读为 object(检查 df.dtypes,必要时用 df[col] = pd.to_numeric(df[col]))
  • 类别列不要提前 get_dummies,保留原始字符串或 category 类型
  • 缺失值会被自动跳过(按列计算时忽略该样本),但建议先用 SimpleImputer 填充数值列、众数填充类别列

示例调用:

import gower<br>dist_matrix = gower.gower_matrix(df)

返回的是对称二维 numpy.ndarray,可直接喂给 scipy.cluster.hierarchy.linkage 或 sklearn.cluster.AgglomerativeClustering。

使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中
使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中

当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。

下载

聚类时避开 KMeans 的陷阱

KMeans 强制要求欧氏空间 + 均值中心,对混合类型距离矩阵完全不适用——它内部会重算质心并迭代更新,而质心在混合空间里没有定义(比如“颜色”的均值是什么?)。强行用 fit(dist_matrix) 会报错或产生无意义结果。

可行方案只有两类:

  • 层次聚类:用 scipy.cluster.hierarchy.linkage(dist_matrix, method="average"),再用 fcluster 截断,完全基于你提供的距离矩阵
  • DBSCAN:传入 metric="precomputed",例如 DBSCAN(eps=0.3, metric="precomputed").fit(dist_matrix);注意 eps 值需根据 dist_matrix 的实际分布调整(看 np.quantile(dist_matrix[np.triu_indices_from(dist_matrix)], 0.1) 等)

别碰 MeanShift、SpectralClustering(虽支持 affinity="precomputed",但其 affinity 需满足正定性,Gower 距离不保证)。

自定义距离函数必须返回双精度二维数组

如果不用 gower,想手写混合距离逻辑(比如加权组合),注意 scipy.spatial.distance.pdist 和大多数聚类器要求函数签名是 def my_dist(a, b):,且必须返回标量 float。常见坑:

  • 返回 np.float64 而非 np.float32(后者可能触发 TypeError: A must be a complex matrix)
  • 函数内不能有 print 或日志——pdist 会高频调用,IO 拖慢百倍
  • 避免用 for 循环逐字段比较,改用向量化操作(如 (a[cat_cols] != b[cat_cols]).sum())
  • 最终距离矩阵必须是 np.ndarray,shape 为 (n_samples, n_samples),对角线为 0,对称

调试时先用小数据(df.iloc[:10])验证距离矩阵是否对称、是否全非负、对角线是否为 0——这三个条件不满足,聚类必然失败。

混合类型聚类真正难的不是代码,是字段语义理解:哪些该归一化,哪些该用匹配,哪些该加权。跑通流程容易,让聚类结果有业务解释力,得反复对照原始数据看簇内一致性。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1971

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5624

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1909

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

34517

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4027

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4027

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1303

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3143

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程