Python怎么实现NumPy数组的余弦相似度_结合点积与范数计算

小磊君_1472

小磊君_1472

2026-04-02

981人浏览

原创

最稳妥的余弦相似度计算是用 np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)),需确保向量维度对齐、处理零向量和nan,并注意广播与性能优化。

python怎么实现numpy数组的余弦相似度_结合点积与范数计算

用 np.dot 和 np.linalg.norm 手动算最稳妥

余弦相似度本质就是两个向量的点积除以各自模长的乘积,NumPy 没有内置的 cosine_similarity 函数(那是 scikit-learn 的),直接调 np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) 最可控。

常见错误是忽略向量维度对齐:比如 a 是 (5,),b 是 (1, 5),np.dot 会报 ValueError: shapes (5,) and (1,5) not aligned。务必确保两者都是 1D 或都转成列向量再处理。

  • 如果输入是二维数组(比如一批向量),先用 a.reshape(-1) 或 np.squeeze(a) 降维
  • 避免用 np.sqrt(np.sum(a ** 2)) 替代 np.linalg.norm(a)——后者对浮点精度和 NaN 更鲁棒
  • 当任一范数为 0(即零向量)时,结果会是 nan 或 inf,建议提前用 if np.allclose(a, 0) or np.allclose(b, 0): return 0.0 做兜底

批量计算多对向量?别硬套 np.dot,改用广播

想算 100 个向量两两之间的余弦相似度?直接嵌套循环调 np.dot 很慢;全用 sklearn.metrics.pairwise.cosine_similarity 又引入额外依赖。更轻量的做法是利用 NumPy 广播:

def cosine_similarity_matrix(X):
    X_norm = X / np.linalg.norm(X, axis=1, keepdims=True)
    return X_norm @ X_norm.T

这里 X 是 (n_samples, n_features) 的二维数组,@ 是矩阵乘法。关键点在于先按行归一化(axis=1),再做内积——结果矩阵第 (i, j) 位就是第 i 和第 j 个向量的余弦值。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • np.linalg.norm(X, axis=1, keepdims=True) 的 keepdims=True 必须加,否则除法广播失败
  • 如果 X 含缺失值,np.linalg.norm 默认不跳过,得先用 np.nan_to_num(X) 或手动掩码
  • 内存敏感场景下,大矩阵相乘可能爆显存,可改用分块计算或 scipy.spatial.distance.cdist(X, X, 'cosine')(返回的是 1 - 余弦值)

为什么不用 scipy.spatial.distance.cosine?

scipy.spatial.distance.cosine 确实能直接算单对向量的余弦距离(注意:是“距离”,不是“相似度”,结果要手动用 1 - cosine 转换),但它底层会检查输入是否为浮点类型、自动补零、还带调试逻辑,比纯 NumPy 实现慢约 2–3 倍。

  • 它返回的是 1 - 余弦相似度,容易漏减,导致结果反着来
  • 输入必须是 1D,传入二维数组会直接报 ValueError: A 2-D array must be passed
  • 在性能关键路径(如 embedding 相似度打分)中,少一层封装意味着更可预测的延迟

NaN 和 inf 怎么安全处理?

真实数据常含 NaN(比如未填充的 embedding),而 np.dot 和 np.linalg.norm 遇到 NaN 就直接污染整个结果——np.dot([1, np.nan], [1, 1]) 返回 nan,且不报错。

最简方案是预清洗:用 np.nan_to_num(x, nan=0.0) 把 NaN 当 0 处理,但要注意这会改变语义(零向量相似度恒为 0)。更合理的做法是用掩码只对有效维度计算:

x_valid = ~np.isnan(x)
y_valid = ~np.isnan(y)
valid_mask = x_valid & y_valid
if not np.any(valid_mask):
    return 0.0
x_clean = x[valid_mask]
y_clean = y[valid_mask]
  • 别依赖 np.isfinite 代替 ~np.isnan,因为 inf 也是 finite==False,但余弦计算中 inf 通常该被剔除
  • 如果向量长度差异大(比如部分字段缺失),用上述掩码方式比简单插值更符合原始意图
  • 一旦用了掩码,记得同步检查范数是否为 0,避免除零

实际写的时候,多数情况就三行:归一化 → 点积 → 处理边界。复杂点永远在数据质量上,不在公式本身。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1711

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4324

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25277

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3087

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3107

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2403

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程