CVPR 2024 | 제로 샘플 6D 객체 자세 추정 프레임워크 SAM-6D, 구체화된 지능에 한 걸음 더 다가가다

객체 자세 추정은 구체화된 지능, 로봇 작동, 증강 현실과 같은 분야 등 다양한 실제 응용 분야에서 핵심적인 역할을 합니다.

이 분야에서 가장 먼저 주목을 받은 작업은 인스턴스 수준 6D 포즈 추정입니다. 이는 모델 훈련을 위해 대상 개체에 대한 주석이 달린 데이터가 필요하므로 심층 모델을 개체별로 만들고 새 개체로 전송할 수 없습니다. 우수한. 나중에는 보이지 않는 물체를 처리하는 데 사용되지만 물체가 알려진 관심 범주에 속해야 하는 범주 수준 6D 포즈 추정으로 점차 연구 초점이 바뀌었습니다.

그리고 제로샷 6D 포즈 추정은 모든 객체의 CAD 모델이 주어지면 장면에서 대상 객체를 감지하고 6D 포즈를 추정하는 것을 목표로 하는 보다 일반적인 작업 설정입니다. 그 중요성에도 불구하고 이 제로샷 작업 설정은 객체 감지 및 자세 추정 모두에서 심각한 문제에 직면해 있습니다. ㅋㅋ 그림 1. Zero-sample 6D 객체 자세 추정 작업

최근, Segmentation all model SAM [1]이 많은 주목을 받고 있으며, 그 우수한 zero-sample 샘플 분할 기능이 눈길을 끕니다. SAM은 픽셀, 경계 상자, 텍스트 및 마스크 등과 같은 다양한 단서를 통해 고정밀 분할을 달성하며, 이는 또한 제로 샘플 6D 객체 포즈 추정 작업에 대한 안정적인 지원을 제공하여 유망한 잠재력을 보여줍니다.

따라서 Cross-Dimensional Intelligence, The Chinese University of Hong Kong(Shenzhen) 및 South China University of Technology의 연구원들이 새로운 제로 샘플 6D 객체 포즈 추정 프레임워크 SAM-6D를 제안했습니다. 이 연구는 CVPR 2024에서 인정을 받았습니다.

문서 링크: https://arxiv.org/pdf/2311.15707.pdf

코드 링크: https://github.com/JiehongLin/SAM-6D

• SAM-6D 제로 샘플 6D 객체 포즈 추정은 인스턴스 분할과 포즈 추정을 포함한 두 단계를 통해 달성됩니다. 이에 따라 SAM-6D는
인스턴스 분할 모델(ISM) 및 포즈 추정 모델(PEM)
• 이라는 두 개의 전용 하위 네트워크를 활용하여 RGB-D 장면 이미지에서 목표를 달성합니다. 여기서 ISM은 SAM을 사용합니다. 임의 객체의 인스턴스 분할을 달성하기 위해 신중하게 설계된 객체 일치 점수와 결합된 탁월한 출발점인 PEM은 로컬-로컬 2단계 포인트 세트 매칭 프로세스를 통해 객체 포즈 문제를 해결합니다. SAM-6D의 개요는 그림 2에 나와 있습니다. ㅋㅋ ~ AM-6D는 혁신적인 제로 샘플 6D 포즈 추정 프레임워크로, 임의 객체의 CAD 모델을 사용하여 RGB-D 이미지에서 대상 객체의 인스턴스 분할 및 포즈 추정을 달성하며, BOP의 7개 핵심 데이터 세트에서 탁월한 성능을 발휘합니다[2].

SAM-6D는 Segment Everything 모델의 제로샷 분할 기능을 활용하여 가능한 모든 후보를 생성하고 새로운 객체 일치 점수를 설계하여 대상 객체에 해당하는 후보를 식별합니다.

SAM-6D는 포즈 추정을 로컬 대 로컬 포인트 세트 매칭 문제로 취급하고 간단하지만 효과적인 배경 토큰 설계를 채택하고 임의 객체에 대한 2단계 포인트 세트 매칭 모델을 먼저 제안합니다. 초기 객체 포즈를 얻기 위해 대략적인 점 집합 매칭을 수행하고, 두 번째 단계에서는 새로운 희소-밀집 점 집합 변환기를 사용하여 미세한 점 집합 매칭을 수행하여 포즈를 더욱 최적화합니다.

인스턴스 분할 모델(ISM)SAM-6D는 인스턴스 분할 모델(ISM)을 사용하여 임의 개체의 마스크를 감지하고 분할합니다.

RGB 이미지로 표현된 복잡한 장면을 고려하여 ISM은 SAM(Segmentation Everything Model)의 제로샷 전송 기능을 활용하여 가능한 모든 후보를 생성합니다. 각 후보 개체에 대해 ISM은 개체 일치 점수를 계산하여 의미, 모양 및 기하학 측면에서 대상 개체와 얼마나 잘 일치하는지 추정합니다. 마지막으로, 단순히 일치 임계값을 설정함으로써 대상 개체와 일치하는 인스턴스를 식별할 수 있습니다.

객체 일치 점수는 세 가지 일치 용어의 가중 합으로 계산됩니다.

• 의미론적 일치 용어
- 대상 객체의 경우 ISM은 여러 관점에서 객체 템플릿을 렌더링하고 사전 교육을 위해 DINOv2 [3]를 사용합니다. ViT 모델 후보 객체와 객체 템플릿의 의미적 특징을 추출하고 이들 간의 상관관계 점수를 계산합니다. 상위 K개의 최고 점수를 평균하여 의미 매칭 점수를 구하고, 가장 높은 상관 점수에 해당하는 객체 템플릿을 가장 일치하는 템플릿으로 간주합니다.

• Appearance Matching - 최적의 매칭 템플릿을 위해 ViT 모델을 사용하여 이미지 블록 특징을 추출하고, 이들과 후보 객체의 블록 특징 간의 상관관계를 계산하여 모양 매칭 점수를 구하고, 이는 의미상 유사성을 구별하는 데 사용됩니다. 하지만 외모와 일치하는 항목은 다릅니다.

  기하학적 일치 - ISM은 다양한 물체의 모양과 크기의 차이와 같은 요소를 고려하여 기하학적 일치 점수도 설계했습니다. 가장 잘 일치하는 템플릿과 후보 객체의 포인트 클라우드에 해당하는 회전의 평균은 대략적인 객체 포즈를 제공할 수 있으며, 이 포즈를 이용하여 객체 CAD 모델을 강성 변환하고 투영하면 바운딩 박스를 얻을 수 있습니다. 경계 상자와 후보 경계 상자 사이의 IoU(Intersection-Over-Union) 비율을 계산하여 기하학적 일치 점수를 얻습니다.

  PEM(자세 추정 모델)

  대상 개체와 일치하는 각 후보 개체에 대해 SAM-6D는 PEM(자세 추정 모델)을 활용하여 개체의 CAD 모델을 기준으로 6D 포즈를 예측합니다.

  분할된 후보 객체와 객체 CAD 모델의 샘플링 포인트 세트를 각각 및 로 표시합니다. 여기서 N_m과 N_o는 동시에 포인트 수를 나타내며 이 두 포인트 세트의 특성을 및 로 나타냅니다. , C는 해당 기능의 채널 수를 나타냅니다. PEM의 목표는 P_m에서 P_o까지의 로컬 대 로컬 대응을 나타내는 할당 행렬을 얻는 것입니다. 폐색으로 인해 P_o는 P_m과 부분적으로만 일치하고 분할 부정확성과 센서 노이즈로 인해 P_m은 부분 AND 일치만 부분적으로 일치합니다. P_o.

  두 포인트 세트에서 겹치지 않는 포인트를 할당하는 문제를 해결하기 위해 ISM은 기능 유사성을 기반으로 로컬 간 통신을 효과적으로 설정할 수 있는 및 로 표시된 배경 토큰을 장착합니다. 구체적으로 주의 행렬은 먼저 다음과 같이 계산할 수 있습니다.

  

  그런 다음 분포 행렬

  

  과 는 각각 행과 열에 따른 소프트맥스 연산을 나타내고 는 상수를 나타냅니다. 의 각 행(첫 번째 행 제외)의 값은 P_o의 배경 및 중간점과 포인트 세트 P_m의 각 포인트 P_m의 일치 확률을 나타냅니다. 배경)을 찾을 수 있습니다.

  이 계산되면 모든 일치하는 포인트 쌍 {(P_m,P_o)}과 해당 일치 점수를 수집할 수 있으며 최종적으로 가중치가 부여된 SVD를 사용하여 개체 포즈를 계산합니다. ㅋㅋㅋ ~   

  백그라운드 토큰을 기반으로 한 위 전략을 사용하여 PEM에서 두 개의 점 세트 매칭 단계가 설계되었습니다. 모델 구조는 특징 추출, 대략적인 포인트 세트 매칭 및 미세 포인트 세트 매칭3개의 모듈을 포함합니다.

  대략적인 점 집합 매칭 모듈은 희소 대응을 구현하여 초기 개체 포즈를 계산한 다음 이 포즈를 사용하여 후보 개체의 점 집합을 변환하여 위치 인코딩 학습을 달성합니다.

  미세 점 집합 매칭 모듈은 후보 객체와 대상 객체의 샘플 점 집합의 위치 인코딩을 결합하여 1단계에서 대략적인 대응성을 주입하고 더욱 조밀한 대응성을 설정하여 보다 정확한 객체 포즈를 얻습니다. 이 단계에서 조밀한 상호 작용을 효과적으로 학습하기 위해 PEM은 조밀한 특성의 희소 버전에 대한 상호 작용을 구현하는 새로운 희소-밀집 점 세트 변환기를 도입하고 선형 변환기[5]를 활용하여 향상된 희소 특성을 확산으로 다시 조밀하게 변환합니다. 특징.

  실험 결과

  SAM-6D의 두 가지 하위 모델의 경우 인스턴스 분할 모델(ISM)은 네트워크 재교육 및 미세 조정이 필요 없이 SAM을 기반으로 구축되었으며, 포즈 추정 모델(PEM)은 MegaPose를 활용합니다. [4]는 훈련을 위한 대규모 ShapeNet-Objects 및 Google-Scanned-Objects 합성 데이터 세트를 제공합니다.

  제로 샘플 기능을 검증하기 위해 SAM-6D는 LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB 및 YCB-V를 포함한 BOP [2]의 7개 핵심 데이터 세트에서 테스트되었습니다. . 표 1과 2는 각각 이 7개 데이터 세트에 대한 다양한 방법의 인스턴스 분할 및 포즈 추정 결과를 비교한 것입니다. 다른 방법과 비교하여 SAM-6D는 두 가지 방법 모두에서 매우 우수한 성능을 발휘하여 강력한 일반화 능력을 충분히 보여줍니다. B 표 1. BOP의 7개 핵심 데이터 세트에 대한 다양한 방법의 세분화 결과 예시

  

  표 2. BOP의 7개 핵심 데이터 세트에 대한 다양한 방법의 태도에 대한 다양한 방법 결과 비교

  

  그림 4는 7개의 BOP 데이터 세트에 대한 SAM-6D의 감지 분할 및 6D 포즈 추정의 시각적 결과를 보여줍니다. 여기서 (a)와 (b)는 각각 테스트된 RGB 이미지와 깊이 맵이고, (c)는 (d)와 (e)는 각각 감지 분할과 6D 포즈의 시각화 결과입니다. -그림 4. BOP에 있는 SAM-6D의 7개 핵심 데이터 세트의 시각적 결과.

  SAM-6D 구현에 대한 자세한 내용은 원본 논문을 읽어 보시기 바랍니다.

  참고 자료:

  

  [1] Alexander Kirillov et., "Segment everything."

  [2] Martin Sundermeyer 외, "특정 강체의 감지, 분할 및 포즈 추정에 관한 Bop 챌린지 2022"

  [3] Maxime Oquab 외, "Dinov2: 학습 감독 없는 강력한 시각적 기능."

  [4] Yann Labbe 외, "Megapose: 렌더링 및 비교를 통해 새로운 물체의 6d 포즈 추정."

  [5] Angelos Katharopoulos 외 . al., "변환기는 RNN입니다. 빠른 자동 회귀

  선형 주의력을 갖춘 변환기입니다."

위 내용은 CVPR 2024 | 제로 샘플 6D 객체 자세 추정 프레임워크 SAM-6D, 구체화된 지능에 한 걸음 더 다가가다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!