本文介绍如何使用 Python 对多元素化学数据（如 16 种元素浓度）按逐变量 ±10% 相对差异阈值进行严格分组，确保所有变量同时满足相似性条件，并通过预计算距离矩阵结合 DBSCAN 实现可扩展、可解释的聚类分析。
本文介绍如何使用 python 对多元素化学数据（如 16 种元素浓度）按**逐变量 ±10% 相对差异阈值**进行严格分组，确保所有变量同时满足相似性条件，并通过预计算距离矩阵结合 dbscan 实现可扩展、可解释的聚类分析。
在地球化学、环境监测或材料科学中，研究人员常需根据多个元素/化合物的实测浓度，识别具有相似地球化学特征的样本群。与常规聚类（如 K-means 或 PCA 后聚类）不同，本任务要求：任意两个样本要被归入同一组，必须在其全部 16 个变量上均满足“相对差异 ≤ ε”（例如 ε = 0.1，即 ±10%）。这意味着不能依赖欧氏距离或余弦相似度等整体度量——因为一个变量的大幅偏离即应导致排除，无论其他变量多么接近。
为此，我们采用「逐变量最大相对差异」作为样本间距离定义，并构建自定义距离矩阵，再交由 DBSCAN 进行连通性分组。该方法兼顾逻辑严谨性与计算可行性，尤其适合中等规模数据（n ≈ 2000）。
✅ 核心步骤解析
定义距离函数：对任意两样本 s1 和 s2，计算各变量 v_i 的相对绝对差异 |v₁ᵢ − v₂ᵢ| / max(|v₁ᵢ|, |v₂ᵢ|)（规避除零，当两者均为 0 时视为完全一致），取所有变量中的最大值作为该样本对的距离。此值 ∈ [0, 1]，0 表示完全一致，1 表示某变量一方为 0 另一方非零。
构建对称距离矩阵：使用 itertools.combinations_with_replacement 遍历所有样本对，填充 n × n 矩阵。注意：DBSCAN 的 metric='precomputed' 要求输入为方阵，且 dist[i][j] == dist[j][i]。
应用 DBSCAN 分组：设置 eps=0.1（对应 ±10% 阈值），min_samples=2（允许两人成组）。DBSCAN 将自动发现满足「任意组内样本均可通过 ≤0.1 的链式路径连接」的最大连通子图——这恰好建模了您所需的传递性分组逻辑（A↔B 且 B↔C ⇒ A,B,C 同组，即使 A↔C >0.1）。
以下为完整、可运行的 Python 实现（已修复原代码中 max_difference 函数名错误及 diff 作用域问题）：
import pandas as pd
import numpy as np
from itertools import combinations
from sklearn.cluster import DBSCAN
# 示例数据：2000 个样本 × 16 元素，此处简化为 4 样本 × 4 元素
df = pd.DataFrame({
'Al': [1.00, 1.50, 1.05, 0.95],
'Na': [2.00, 2.50, 2.10, 1.90],
'K': [3.00, 3.50, 3.10, 3.10],
'Si': [4.00, 4.50, 1.00, 3.80]
}, index=['Sample1', 'Sample2', 'Sample3', 'Sample4'])
def max_pct_diff(row1, row2):
"""计算两行样本间各变量最大相对差异（% 归一化）"""
max_diff = 0.0
for v1, v2 in zip(row1, row2):
if v1 == 0 and v2 == 0:
continue
# 使用 max(|v1|, |v2|) 避免分母过小导致虚假大差异
denom = max(abs(v1), abs(v2))
diff = abs(v1 - v2) / denom
max_diff = max(max_diff, diff)
return max_diff
# 构建 n×n 距离矩阵
n = len(df)
dist_matrix = np.zeros((n, n))
samples = df.values
for i in range(n):
for j in range(i + 1, n):
d = max_pct_diff(samples[i], samples[j])
dist_matrix[i, j] = d
dist_matrix[j, i] = d # 对称
# 应用 DBSCAN（eps=0.1 即 10% 阈值）
clustering = DBSCAN(eps=0.1, min_samples=2, metric='precomputed')
labels = clustering.fit_predict(dist_matrix)
# 添加分组结果到原始 DataFrame
df['Group'] = labels
print(df)
输出结果：
Al Na K Si Group Sample1 1.0 2.0 3.0 4.0 0 Sample2 1.5 2.5 3.5 4.5 -1 Sample3 1.05 2.1 3.1 1.0 -1 Sample4 0.95 1.9 3.1 3.8 0
- Group = 0：Sample1 与 Sample4 在 Al（±5%）、Na（±5%）、K（±3.3%）、Si（±5%）上全部 ≤10%，符合要求；
- Group = -1：Sample2 和 Sample3 均无其他样本满足全变量 ≤10%，故被标记为噪声（outlier），符合预期。
⚠️ 关键注意事项
- 阈值选择：eps=0.1 严格对应 ±10%。若需更宽松（如 ±15%），请设 eps=0.15；但注意：增大 eps 可能导致过度合并（如将 Sample3 的 Si=1.0 错误纳入）。
- 零值处理：代码中 if v1==0 and v2==0: continue 确保零浓度样本间可比较；若存在单边零（如 v1=0, v2>0），则 diff = 1.0（100% 差异），天然排除，符合化学意义（检出限以下 vs 检出）。
- 性能优化：对 n=2000，距离矩阵含约 200 万对，Python 循环仍可在数秒内完成。如需进一步加速，可用 scipy.spatial.distance.pdist 自定义度量，或改用 numba JIT 编译。
- 结果验证：务必抽样检查分组结果——提取 Group==0 的样本子集，手动验证每对是否真正在所有变量上满足 abs(a-b)/max(|a|,|b|)
通过该方法，您不再依赖黑盒聚类，而是以透明、可控、化学意义明确的方式，实现多变量同步相似性分组，为后续空间制图（GIS）、异常识别或源解析提供坚实的数据基础。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
