如何使用深度学习特征与余弦相似度对比两个点云-Python教程-PHP中文网

如何使用深度学习特征与余弦相似度对比两个点云

本文介绍一种基于预训练点云模型（point2vec）提取语义嵌入并计算余弦相似度的方法，用于定量比较两个不同规模、非配准的点云（如lidar扫描与cad模型），支持整体相似性评估及区域级差异分析。

本文介绍一种基于预训练点云模型（point2vec）提取语义嵌入并计算余弦相似度的方法，用于定量比较两个不同规模、非配准的点云（如lidar扫描与cad模型），支持整体相似性评估及区域级差异分析。

在实际工业应用中（如自动驾驶部件质检、数字孪生验证），常需对比来自不同源头的点云：例如，真实场景中LiDAR采集的车辆点云 vs. 设计阶段的CAD导出点云。二者通常存在显著差异——点数不等、坐标系未对齐、噪声水平不同、采样密度不一致。传统基于ICP配准+距离图（如Chamfer Distance）或FPFH特征匹配的方法，在无初始位姿、几何形变或局部缺失时鲁棒性有限，且难以提供语义层面的“相似性解释”。

此时，借助在大规模点云数据集（如ModelNet40）上预训练的自监督深度模型，可绕过显式配准与手工特征设计，直接获取具有判别力的高维语义嵌入（semantic embedding）。Point2Vec 是一个典型代表：它基于Transformer架构，通过掩码点重建任务学习点云结构先验，在ModelNet40的“Car”类别上具备强泛化能力，且其最后一层全连接层前的全局嵌入向量（global embedding）已充分编码物体类别与整体形态信息。

✅ 推荐流程：端到端嵌入 + 余弦相似度

预处理统一输入格式
Point2Vec要求输入为归一化至单位球内的N×3点云（N≈1024或2048）。建议使用Open3D进行标准化：

import open3d as o3d
import numpy as np

def preprocess_pointcloud(pcd_path, n_points=2048):
    pcd = o3d.io.read_point_cloud(pcd_path)
    # 采样/补零至固定点数
    points = np.asarray(pcd.points)
    if len(points)

加载预训练模型并提取嵌入
使用官方提供的Point2Vec权重（GitHub仓库），冻结主干网络，仅前向传播获取[B, D]维度的全局嵌入（D=384）：

import torch
from point2vec.models.point2vec import Point2Vec

model = Point2Vec.load_from_checkpoint(
    "pretrained/point2vec_modelnet40.ckpt",
    map_location="cpu"
)
model.eval()

def get_global_embedding(points):
    # points: [N, 3] → [1, N, 3]
    x = torch.from_numpy(points).unsqueeze(0)
    with torch.no_grad():
        emb = model(x)  # [1, D], shape: (1, 384)
    return emb.squeeze(0)  # [D]

emb1 = get_global_embedding(pc1)  # [384]
emb2 = get_global_embedding(pc2)  # [384]

计算整体相似度
采用余弦相似度（Cosine Similarity），取值范围[-1, 1]，越接近1表示语义一致性越高：
```
from sklearn.metrics.pairwise import cosine_similarity

similarity_score = cosine_similarity(emb1.unsqueeze(0), emb2.unsqueeze(0))[0][0]
print(f"Global similarity: {similarity_score:.4f}")  # e.g., 0.8723
```
⚠️ 注意：该分数反映的是整体类别与结构语义的一致性，而非几何像素级对齐。若得分低于0.6，可能提示严重建模偏差（如CAD缺少传感器支架）、扫描遮挡或类别错配。

进阶：区域级相似性分析（Patch-wise）
若需定位差异区域（如“车顶曲率不一致”“左后轮缺失”），可利用Point2Vec内部的patch embedding机制：模型将点云划分为K个局部patch（如K=64），每个patch输出一个[D]维嵌入，形成[K, D]矩阵。对两云的patch embeddings分别做行归一化后，计算K×K相似度矩阵：

# 假设 model.forward_patches() 返回 [K, D] patch embeddings
patches1 = model.forward_patches(torch.from_numpy(pc1).unsqueeze(0))  # [64, 384]
patches2 = model.forward_patches(torch.from_numpy(pc2).unsqueeze(0))  # [64, 384]

patches1 = torch.nn.functional.normalize(patches1, dim=1)
patches2 = torch.nn.functional.normalize(patches2, dim=1)
sim_matrix = torch.matmul(patches1, patches2.T)  # [64, 64]

# 可视化：热力图显示patch对应关系
import matplotlib.pyplot as plt
plt.imshow(sim_matrix.numpy(), cmap='viridis', vmin=0, vmax=1)
plt.title("Patch-wise Similarity Matrix")
plt.colorbar()
plt.show()

高相似值（如>0.9）的行列索引即对应语义一致的局部区域；低值区域则提示潜在差异，可结合Open3D反查原始点云空间位置进行根因分析。