如何使用深度学习特征与余弦相似度比较两个点云-Python教程-PHP中文网

本文介绍基于预训练点云模型（如point2vec）提取全局/局部嵌入向量，并通过余弦相似度量化两个异构点云（如lidar扫描与cad模型）整体相似性及区域级差异的方法，适用于不同点数、无精确配准的工业比对场景。

本文介绍基于预训练点云模型（如point2vec）提取全局/局部嵌入向量，并通过余弦相似度量化两个异构点云（如lidar扫描与cad模型）整体相似性及区域级差异的方法，适用于不同点数、无精确配准的工业比对场景。

在实际工业应用中（例如自动驾驶部件质量检测或数字孪生验证），常需对比来自不同来源的点云：一边是真实世界LiDAR扫描获得的原始点云（噪声大、密度不均、点数不定），另一边是理想化的3D CAD重建点云（结构规整、无遮挡）。二者既未配准，点数也显著不同（如一个含12万点，另一个仅4.5万点），传统ICP配准+均方误差或Hausdorff距离等几何方法往往失效或鲁棒性差。

此时，基于深度学习的语义感知特征比对成为更优解。以Point2Vec为代表的一类自监督点云模型，在ModelNet40等大规模数据集上预训练后，能将任意点云映射为高维语义嵌入空间中的紧凑向量——该向量隐式编码了形状结构、拓扑关系与局部几何模式，对点数变化、刚体变换和轻微噪声具有天然不变性。

✅ 推荐方案：全局嵌入 + 余弦相似度（快速验证）

首先加载预训练Point2Vec模型（支持PyTorch），对两个点云分别前向传播，提取倒数第二层输出（即分类头之前的全局嵌入向量）：

import torch
import numpy as np
from point2vec.models import Point2Vec  # 需 pip install point2vec

# 加载预训练权重（Car类别已充分学习）
model = Point2Vec.load_from_checkpoint(
    "checkpoints/point2vec_modelnet40.ckpt"
).eval().cuda()

def get_global_embedding(pcd_path: str, model) -> np.ndarray:
    # 假设 pcd_path 是 .npy 或 .ply 文件路径
    points = np.load(pcd_path) if pcd_path.endswith('.npy') else o3d.io.read_point_cloud(pcd_path).numpy()
    # 归一化至单位球心 & 采样至固定点数（如2048）
    points = (points - points.mean(axis=0)) / points.std(axis=0)
    points = torch.tensor(points[:2048], dtype=torch.float32).unsqueeze(0).cuda()

    with torch.no_grad():
        embedding = model(points)  # shape: [1, 384]
    return embedding.cpu().numpy().flatten()

emb_a = get_global_embedding("lidar_car.ply", model)
emb_b = get_global_embedding("cad_car.ply", model)

# 计算余弦相似度（值域 [-1, 1]，越接近1表示全局形状越相似）
similarity = np.dot(emb_a, emb_b) / (np.linalg.norm(emb_a) * np.linalg.norm(emb_b))
print(f"Global cosine similarity: {similarity:.4f}")  # 示例输出：0.8623

⚠️ 注意事项：

输入预处理至关重要：必须中心化+归一化（避免尺度干扰），并统一采样至模型期望点数（如2048）；

相似度阈值需标定：建议用同类别（Car）内多组已知“相似/异常”样本构建基线（如正常CAD-LiDAR对平均得0.82±0.05，而CAD-飞机对仅0.21）；

不替代几何分析：此法反映“是否同类/结构一致”，但无法定位具体偏差位置（如车灯缺失、保险杠凸起）。

? 进阶方案：区域级补丁嵌入 + 相似度热力图

若需定位差异区域（如识别LiDAR点云中缺失的后视镜），可利用Point2Vec内部的Transformer Patch机制：模型将点云划分为N个局部“点块”（point-patches），每个块生成独立嵌入。对两云分别提取所有patch嵌入后，构建N×N相似度矩阵：

# 修改模型返回 patch embeddings（需修改 forward 函数或使用 hooks）
patch_embs_a = model.get_patch_embeddings(points_a)  # shape: [N, D]
patch_embs_b = model.get_patch_embeddings(points_b)  # shape: [M, D]

# 计算块间余弦相似度矩阵
sim_matrix = torch.nn.functional.cosine_similarity(
    patch_embs_a.unsqueeze(1),  # [N, 1, D]
    patch_embs_b.unsqueeze(0),  # [1, M, D]
    dim=-1
)  # shape: [N, M]

# 可视化：每行取最大相似值 → 表示A中第i块在B中最匹配的区域强度
heatmap = sim_matrix.max(dim=1).values.cpu().numpy()  # shape: [N]
# 映射回原始点云坐标，用Open3D着色显示

该矩阵支持进一步分析：对角线强响应说明局部结构高度一致；某行全弱响应则提示A中对应区域在B中无匹配结构（潜在缺陷）；聚类分析还能发现重复/镜像结构。