제로 샘플 6D 객체 자세 추정 프레임워크 SAM-6D, 구체화된 지능에 한 단계 더 가까워짐

객체 자세 추정은 체화된 지능, 능숙한 로봇 조작, 증강 현실 등 다양한 실제 애플리케이션에서 핵심적인 역할을 합니다.

이 분야에서 가장 먼저 주목받는 작업은 인스턴스 수준 6D 포즈 추정입니다. 이는 모델 훈련을 위해 대상 개체에 대한 주석이 달린 데이터가 필요하므로 심층 모델을 개체별로 만들고 다른 개체로 전송할 수 없습니다. 새로운 개체. 나중에 연구 초점은 점차적으로 범주 수준 6D 포즈 추정으로 바뀌었습니다. 이는 보이지 않는 물체를 처리하는 데 사용되지만 물체가 알려진 관심 범주에 속해야 합니다.

그리고 제로샷 6D 포즈 추정은 모든 객체의 CAD 모델이 주어지면 장면에서 대상 객체를 감지하고 6D 포즈를 추정하는 것을 목표로 하는 보다 일반적인 작업 설정입니다. 그 중요성에도 불구하고 이 제로샷 작업 설정은 객체 감지 및 자세 추정 모두에서 심각한 문제에 직면해 있습니다.

그림 1. 제로 샘플 6D 객체 포즈 추정 작업

최근 Segmentation Everything 모델인 SAM [1]이 많은 주목을 받고 있으며, 뛰어난 제로 샘플 분할 기능이 눈길을 끕니다. SAM은 픽셀, 경계 상자, 텍스트 및 마스크 등과 같은 다양한 단서를 통해 고정밀 분할을 달성하며, 이는 또한 제로 샘플 6D 객체 포즈 추정 작업에 대한 안정적인 지원을 제공하여 유망한 잠재력을 보여줍니다.

따라서 InterDimensional Intelligence, 홍콩 중문 대학교(심천) 및 남중국 공과 대학교의 연구원들은 혁신적인 제로 샘플 6D 객체 포즈 추정 프레임워크 SAM-6D를 공동으로 제안했습니다. 이 연구는 CVPR 2024에 포함되었습니다.

• 논문 링크: https://arxiv.org/pdf/2311.15707.pdf
• 코드 링크: https://github.com/JiehongLin/SAM-6D

SAM-6D는 인스턴스 분할 및 포즈 추정을 포함한 두 단계를 통해 제로 샘플 6D 객체 포즈 추정을 달성합니다. 이에 따라 SAM-6D는 인스턴스 분할 모델(ISM) 및 포즈 추정 모델(PEM)이라는 두 개의 전용 하위 네트워크를 활용하여 RGB-D 장면 이미지에서 목표를 달성합니다. 여기서 ISM은 SAM을 사용합니다. 임의 객체의 인스턴스 분할을 달성하기 위해 신중하게 설계된 객체 일치 점수와 결합된 탁월한 출발점인 PEM은 로컬-로컬 2단계 포인트 세트 매칭 프로세스를 통해 객체 포즈 문제를 해결합니다. SAM-6D의 개요는 그림 2에 나와 있습니다.

그림 2. SAM-6D 개요

일반적으로 SAM-6D의 기술적 기여는 다음과 같이 요약될 수 있습니다.

• SAM-6D는 혁신적인 제로 샘플 6D 포즈입니다. 추정 모든 개체의 CAD 모델이 제공되는 프레임워크는 RGB-D 이미지에서 대상 개체의 인스턴스 분할 및 포즈 추정을 달성하고 BOP의 7개 핵심 데이터 세트에서 탁월한 성능을 발휘합니다[2].
• SAM-6D는 Segment Everything 모델의 제로샷 분할 기능을 활용하여 가능한 모든 후보를 생성하고 새로운 객체 일치 점수를 설계하여 대상 객체에 해당하는 후보를 식별합니다.
• SAM-6D는 포즈 추정을 로컬 대 로컬 포인트 세트 매칭 문제로 취급하고 간단하지만 효과적인 배경 토큰 설계를 채택하고 임의 객체에 대한 2단계 포인트 세트 매칭 모델을 먼저 제안합니다. 초기 객체 포즈를 얻기 위해 대략적인 점 집합 매칭을 수행하고, 두 번째 단계에서는 새로운 희소-밀집 점 집합 변환기를 사용하여 미세한 점 집합 매칭을 수행하여 포즈를 더욱 최적화합니다.

인스턴스 분할 모델(ISM)

SAM-6D는 인스턴스 분할 모델(ISM)을 사용하여 임의 개체의 마스크를 감지하고 분할합니다.

RGB 이미지로 표현된 복잡한 장면을 고려하여 ISM은 SAM(Segmentation Everything Model)의 제로샷 전송 기능을 활용하여 가능한 모든 후보를 생성합니다. 각 후보 개체에 대해 ISM은 개체 일치 점수를 계산하여 의미, 모양 및 기하학 측면에서 대상 개체와 얼마나 잘 일치하는지 추정합니다. 마지막으로, 단순히 일치 임계값을 설정함으로써 대상 개체와 일치하는 인스턴스를 식별할 수 있습니다.

객체 일치 점수는 세 가지 일치 항목의 가중 합으로 계산됩니다.

의미론적 일치 - 대상 객체의 경우 ISM은 객체 템플릿을 다양한 관점에서 렌더링하고 DINOv2를 사용합니다. [3] 사전 훈련된 ViT 모델 후보 객체와 객체 템플릿의 의미론적 특징을 추출하고 이들 간의 상관관계 점수를 계산합니다. 상위 K개의 최고 점수를 평균하여 의미 매칭 점수를 구하고, 가장 높은 상관 점수에 해당하는 객체 템플릿을 가장 일치하는 템플릿으로 간주합니다.

Appearance Matching - 최적의 매칭 템플릿을 위해 ViT 모델을 사용하여 이미지 블록 특징을 추출하고, 그것과 후보 개체의 블록 특징 간의 상관 관계를 계산하여 모양 매칭 점수를 얻습니다. 유사하지만 모양이 다른 객체를 의미 체계로 구별합니다.

기하학적 일치 - ISM은 다양한 물체의 모양 및 크기 차이와 같은 요소를 고려하여 기하학적 일치 점수도 설계했습니다. 가장 잘 일치하는 템플릿과 후보 객체의 포인트 클라우드에 해당하는 회전의 평균은 대략적인 객체 포즈를 제공할 수 있으며, 이 포즈를 이용하여 객체 CAD 모델을 강성 변환하고 투영하면 바운딩 박스를 얻을 수 있습니다. 경계 상자와 후보 경계 상자 사이의 IoU(Intersection-Over-Union) 비율을 계산하면 기하학적 일치 점수를 얻을 수 있습니다.

PEM(자세 추정 모델)

대상 개체와 일치하는 각 후보 개체에 대해 SAM-6D는 PEM(자세 추정 모델)을 활용하여 개체의 CAD 모델을 기준으로 6D 포즈를 예측합니다.

분할된 후보 객체와 객체 CAD 모델의 샘플링 포인트 세트를 각각 및 로 표시합니다. 여기서 N_m과 N_o는 동시에 포인트 수를 나타내며 이 두 포인트 세트의 특성을 나타냅니다. 는 , 으로 표현되며, C는 해당 기능의 채널 수를 나타냅니다. PEM의 목표는 P_m에서 P_o까지의 로컬 대 로컬 대응을 나타내는 할당 행렬을 얻는 것입니다. 폐색으로 인해 P_o는 P_m과 부분적으로만 일치하고 분할 부정확성과 센서 노이즈로 인해 P_m은 부분 AND 일치만 부분적으로 일치합니다. P_o.

두 포인트 세트 사이에 겹치지 않는 포인트를 할당하는 문제를 해결하기 위해 ISM은 두 포인트 세트에 및 로 기록된 배경 토큰을 장착합니다. 이는 다음을 기반으로 로컬 간 대응을 효과적으로 설정할 수 있습니다. 특징 유사성 . 특히 주의 행렬은 먼저 다음과 같이 계산할 수 있습니다.

그런 다음 분포 행렬

및 은 각각 행과 열에 따른 소프트맥스 연산을 나타내고, 은 상수. 의 각 행의 값(첫 번째 행 제외)은 P_o의 배경과 중간점을 기준으로 점 집합 P_m의 각 점 P_m이 일치할 확률을 나타냅니다. 찾을 수 있습니다(배경 포함).

이 계산되면 모든 일치하는 포인트 쌍 {(P_m,P_o)}과 해당 일치 점수를 수집할 수 있으며 최종적으로 가중치가 부여된 SVD를 사용하여 개체 포즈를 계산합니다.

그림 3. SAM-6D의 PEM(Pose Estimation Model) 도식

위의 Background Token 기반 전략을 사용하여 PEM에서 두 점 세트 매칭 단계를 설계하고 해당 모델 구조는 그림 3과 같이 특징 추출, 대략 포인트 세트 매칭, 미세 포인트 세트 매칭이라는 세 가지 모듈을 포함합니다.

대략적인 점 집합 매칭 모듈은 희소 대응을 구현하여 초기 개체 포즈를 계산한 다음 이 포즈를 사용하여 후보 개체의 점 집합을 변환하여 위치 인코딩 학습을 달성합니다.

미세 점 집합 매칭 모듈은 후보 객체와 대상 객체의 샘플링 점 집합의 위치 인코딩을 결합하여 1단계에서 대략적인 대응성을 주입하고 더 조밀한 대응성을 설정하여 보다 정확한 객체 포즈를 얻습니다. 이 단계에서 조밀한 상호 작용을 효과적으로 학습하기 위해 PEM은 조밀한 특성의 희소 버전에 대한 상호 작용을 구현하는 새로운 희소-밀도 점 집합 변환기를 도입하고 선형 변환기[5]를 활용하여 향상된 희소 특성을 확산으로 다시 변환합니다. 조밀한 특징으로.

실험 결과

SAM-6D의 두 하위 모델의 경우 인스턴스 분할 모델(ISM)은 네트워크 재교육 및 미세 조정이 필요 없이 SAM을 기반으로 구축되었으며, 포즈 추정 모델(PEM)은 MegaPose[4]에서 제공하는 대규모 ShapeNet-Objects 및 Google-Scanned-Objects 합성 데이터 세트가 훈련에 사용됩니다.

제로 샘플 기능을 검증하기 위해 SAM-6D는 LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB 및 YCB를 포함한 BOP [2]의 7개 핵심 데이터 세트에서 테스트되었습니다. -V. 표 1과 2는 각각 이 7개 데이터 세트에 대한 다양한 방법의 인스턴스 분할 및 포즈 추정 결과를 비교한 것입니다. 다른 방법과 비교하여 SAM-6D는 두 가지 방법 모두에서 매우 우수한 성능을 발휘하여 강력한 일반화 능력을 충분히 보여줍니다.

표 1. BOP의 7개 핵심 데이터 세트에 대한 다양한 방법의 인스턴스 분할 결과 비교

표 2. 7개 핵심 데이터 세트에 대한 다양한 방법의 포즈 추정 결과 비교 of BOP

그림 4는 7개의 BOP 데이터 세트에 대한 SAM-6D의 감지 분할 및 6D 포즈 추정의 시각화 결과를 보여줍니다. 여기서 (a)와 (b)는 각각 테스트된 RGB 이미지와 깊이 맵입니다. (c) 는 주어진 대상 객체이고, (d)와 (e)는 각각 감지 분할과 6D 포즈의 시각화 결과입니다.

그림 4. BOP의 7개 핵심 데이터 세트에 대한 SAM-6D의 시각화 결과.

SAM-6D 구현에 대한 자세한 내용을 보려면 원본 논문을 읽어보세요.

위 내용은 제로 샘플 6D 객체 자세 추정 프레임워크 SAM-6D, 구체화된 지능에 한 단계 더 가까워짐의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!