SOTA를 능가하려면 매개변수의 10%만 필요합니다! Zhejiang University, Byte, Hong Kong Chinese는 '범주 수준 포즈 추정' 작업을 위한 새로운 프레임워크를 공동으로 제안했습니다.

로봇에게 일상적인 물체에 대한 3D 이해를 제공하는 것은 로봇 공학 응용 분야의 주요 과제입니다.

미지의 환경을 탐색할 때, 기존의 물체 자세 추정 방법은 물체의 형태가 다양하기 때문에 여전히 만족스럽지 않습니다.

최근 절강대학교, ByteDance 인공 지능 연구소 및 홍콩 중문 대학교의 연구원들은 단일 RGB-D 이미지에서 카테고리 수준 개체 모양 및 포즈 추정을 위한 새로운 프레임워크를 공동으로 제안했습니다.

논문 주소: https://arxiv.org/abs/2210.01112​

프로젝트 링크: https://zju3dv.github.io/gCasp​

To 범주 내 개체의 모양 변형을 처리하기 위해 연구자는 서로 다른 모양을 통합된 잠재 공간으로 인코딩하는 의미론적 기본 표현을 사용합니다. 이 표현은 관찰된 점 구름과 추정된 모양 사이에서 안정적으로 설정됩니다.

그런 다음 강체 유사성 변환에 불변하는 모양 설명자를 설계하여 개체의 모양과 포즈 추정이 분리되어 모든 포즈에서 대상 개체의 암시적 모양 최적화를 지원합니다. 실험 결과 제안된 방법이 공개 데이터 세트에서 선도 포즈 추정 성능을 달성하는 것으로 나타났습니다.

연구배경

로봇 인식 및 동작 분야에서는 일상 사물의 형태와 자세를 추정하는 것이 기본 기능으로, 3차원 장면 이해, 로봇 동작, 자율 창고 보관 등 다양한 응용 분야를 갖고 있다.

이 작업에 대한 초기 작업의 대부분은 관찰된 객체를 주어진 CAD 모델에 정렬하여 주로 객체 포즈를 얻는 인스턴스 수준 포즈 추정에 중점을 두었습니다.

그러나 특정 개체의 정확한 모델을 미리 얻는 것이 어렵기 때문에 실제 시나리오에서는 이러한 설정이 제한됩니다.

보이지 않지만 의미상 친숙한 객체를 일반화하기 위해 카테고리 수준 객체 자세 추정은 실제 장면에서 동일한 카테고리의 다양한 인스턴스를 잠재적으로 처리할 수 있기 때문에 점점 더 많은 연구 관심을 끌고 있습니다.

기존 카테고리 수준 포즈 추정 방법은 일반적으로 클래스 내 인스턴스의 픽셀 수준 정규화 좌표를 예측하거나 변형 후 참조 사전 모델을 사용하여 객체 포즈를 추정하려고 시도합니다.

이러한 작업은 큰 진전을 이루었지만 이러한 일회성 예측 방법은 동일한 카테고리에서 모양 차이가 큰 경우 여전히 어려움에 직면합니다.

동일 카테고리 내의 객체의 다양성을 처리하기 위해 일부 작품에서는 신경 암시적 표현을 활용하여 암시적 공간에서 포즈와 모양을 반복적으로 최적화하여 대상 객체의 모양에 적응하고 더 나은 성능을 달성합니다.

범주 수준 객체 포즈 추정에는 두 가지 주요 과제가 있습니다. 하나는 클래스 내 모양 차이가 크다는 것이고, 다른 하나는 기존 방법이 최적화를 위해 모양과 포즈를 함께 결합하여 최적화 문제로 쉽게 이어질 수 있다는 것입니다. 더 복잡한.

이 논문에서 연구자들은 강체 유사 변환에 불변인 형상 설명자를 설계하여 객체의 형상과 포즈 추정을 분리하고 이를 통해 임의 포즈에서 대상 객체의 암시적 형상 최적화를 지원합니다. 마지막으로, 추정된 모양과 관찰 사이의 의미론적 연관성을 기반으로 물체의 규모와 자세를 해결합니다.

알고리즘 소개

알고리즘은 의미적 원시 추출, 생성 형태 추정, 객체 포즈 추정이라는 세 가지 모듈로 구성됩니다.

알고리즘의 입력은 단일 RGB-D 이미지입니다. 알고리즘은 사전 훈련된 Mask R-CNN을 사용하여 RGB 이미지의 의미론적 분할 결과를 얻은 다음 이를 기반으로 각 객체의 포인트 클라우드를 역투영합니다. 카메라 내부 매개변수. 이 방법은 주로 포인트 클라우드를 처리하고 최종적으로 각 객체의 스케일과 6DoF 포즈를 얻습니다.

의미적 원시 추출

DualSDF[1]은 유사한 객체에 대한 의미적 원시적 표현 방법을 제안합니다. 아래 그림의 왼쪽과 같이 동일한 유형의 객체에서 각 인스턴스는 특정 수의 의미 프리미티브로 구분되며 각 프리미티브의 레이블은 특정 유형의 객체의 특정 부분에 해당합니다.

관찰점 구름에서 객체의 의미적 기본 요소를 추출하기 위해 저자는 점 클라우드 분할 네트워크를 활용하여 관찰점 구름을 레이블이 있는 의미적 기본 요소로 분할합니다.

생성 형태 추정

대부분의 3D 생성 모델(예: DeepSDF)은 정규화된 좌표계에서 작동합니다.

그러나 실제 관찰의 개체와 정규화된 좌표계 ​​사이에는 유사한 포즈 변환(회전, 이동 및 크기 조정)이 있습니다.

자세를 알 수 없는 경우 현재 관찰에 해당하는 정규화된 모양을 해결하기 위해 저자는 의미론적 원시 표현을 기반으로 유사한 변환에 불변인 모양 설명자를 제안합니다.

이 설명자는 아래 그림에 표시되어 있으며 서로 다른 프리미티브로 구성된 벡터 간의 각도를 설명합니다.

저자는 이 설명자를 사용하여 현재 관찰과 추정된 모양 오류 간의 차이를 측정합니다. 추정된 모양이 관찰과 더 일치하도록 하기 위해 경사하강법을 사용합니다. 이 과정은 아래 그림에 나와 있습니다.

저자는 또한 더 많은 모양 최적화 예를 보여줍니다.

자세 추정

마지막으로 관찰된 점 구름과 해결된 형상 간의 의미론적 원시 대응을 통해 저자는 Umeyama 알고리즘을 사용하여 관찰된 형상의 포즈를 해결합니다.

실험 결과

저자는 NOCS에서 제공하는 REAL275(실제 데이터 세트) 및 CAMERA25(합성 데이터 세트) 데이터 세트를 대상으로 비교 실험을 수행하고 다른 방법과 포즈 추정 정확도를 비교했습니다. 여러 지표에서 다른 방법보다 훨씬 뛰어납니다.

동시에 저자는 NOCS에서 제공하는 학습 세트에 대해 학습해야 하는 매개 변수의 양도 비교했습니다. 저자는 최첨단 수준에 도달하기 위해 최소 230만 개의 매개 변수가 필요합니다. .

위 내용은 SOTA를 능가하려면 매개변수의 10%만 필요합니다! Zhejiang University, Byte, Hong Kong Chinese는 '범주 수준 포즈 추정' 작업을 위한 새로운 프레임워크를 공동으로 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!