如何使用深度学习嵌入与余弦相似度比较两个点云-Python教程-PHP中文网

如何使用深度学习嵌入与余弦相似度比较两个点云

本文介绍一种基于预训练点云神经网络（point2vec）提取全局/局部嵌入向量，并通过余弦相似度量化点云间整体或区域级相似性的专业方法，特别适用于lidar扫描点云与cad模型点云的跨模态比对。

本文介绍一种基于预训练点云神经网络（point2vec）提取全局/局部嵌入向量，并通过余弦相似度量化点云间整体或区域级相似性的专业方法，特别适用于lidar扫描点云与cad模型点云的跨模态比对。

在点云分析任务中，直接比较两个具有不同点数、尺度、朝向甚至采样密度的点云（例如LiDAR实测数据 vs. CAD生成网格重建点云）是一项典型挑战。传统手工特征（如FPFH、SHOT）虽可描述局部几何，但难以建模全局语义一致性，且对配准误差敏感；而ICP等配准后距离度量又高度依赖初始对齐质量——这在无先验位姿信息的实际场景中往往不可靠。

此时，基于自监督预训练的深度学习表征方法提供了更鲁棒的替代路径。Point2Vec 是一种在 ModelNet40 等大规模点云数据集上预训练的Transformer架构模型，其核心优势在于：无需微调即可为任意点云生成语义丰富的固定维度嵌入（embedding），该嵌入天然具备对旋转、平移、稀疏性及噪声的不变性。

✅ 推荐流程：全局相似度快速评估

预处理点云：统一归一化至单位球（中心化 + 缩放至最大范数为1），并采样至固定点数（如1024或2048点），确保输入兼容性：

import open3d as o3d
import numpy as np

def preprocess_pointcloud(pcd, num_points=1024):
    pcd = pcd.remove_non_finite_points()
    pcd = pcd.voxel_down_sample(voxel_size=0.005)  # 可选降噪
    points = np.asarray(pcd.points)
    # 中心化 & 单位球归一化
    centroid = points.mean(axis=0)
    points -= centroid
    scale = np.max(np.linalg.norm(points, axis=1))
    points /= (scale + 1e-8)
    # 随机采样（或FPS采样）
    indices = np.random.choice(len(points), num_points, replace=len(points)

加载预训练Point2Vec模型并提取嵌入（需安装 point2vec 库）：

from point2vec.models.point2vec import Point2Vec
import torch

model = Point2Vec.load_from_checkpoint(
    "checkpoints/point2vec_modelnet40.ckpt",
    map_location="cpu"
).eval()

with torch.no_grad():
    emb_a = model(torch.tensor(xyz_a).float().unsqueeze(0))  # [1, D]
    emb_b = model(torch.tensor(xyz_b).float().unsqueeze(0))  # [1, D]

计算余弦相似度（值域 [-1, 1]，越接近1表示语义越一致）：

from sklearn.metrics.pairwise import cosine_similarity

sim_score = cosine_similarity(emb_a.numpy(), emb_b.numpy())[0, 0]
print(f"Global similarity score: {sim_score:.4f}")  # e.g., 0.8723

? 进阶：区域级相似性分析（Patch-wise）

若需定位差异区域（如“前保险杠匹配度高，但后视镜缺失”），可利用Point2Vec内部的patch embedding机制：模型将点云划分为N个局部邻域（patches），每个patch输出一个D维嵌入，形成 [N, D] 的patch embedding矩阵。

对两个点云分别获取 patch embeddings：patch_emb_a ∈ R^{N×D}, patch_emb_b ∈ R^{N×D}
计算 N×N 相似度矩阵 S[i,j] = cos_sim(patch_emb_a[i], patch_emb_b[j])
通过匈牙利算法或最近邻匹配，可建立patch对应关系，进而可视化高/低相似度区域（需结合原始点云空间坐标着色渲染）

⚠️ 注意事项：

输入一致性至关重要：务必对齐归一化策略（中心+单位球），否则嵌入空间不可比；

点数选择权衡：1024点适合快速推理，2048点提升细节保留，但需确认模型训练时采用的分辨率；

领域适配提示：ModelNet40中的“Car”类虽具泛化性，但若目标物体结构特殊（如自动驾驶车辆含传感器凸起），建议在小规模标注数据上轻量微调最后几层；

非替代配准：该方法评估的是语义相似性，而非几何对齐精度；若后续需精确误差图（如mm级偏差热力图），仍应结合ICP或基于特征的配准流程。