새 제목: Peking University는 새로운 시대를 열었습니다. 카테고리 수준 6D 객체 자세 추정의 새로운 패러다임이 NeurIPS 2023에서 최신 및 최고의 결과를 달성했습니다.

북경대학교 연구진이 로봇공학, 가상현실, 증강현실 등 분야에서 널리 활용되는 기본적이고 중요한 문제인 새로운 카테고리 수준의 6D 객체 자세 추정 방법을 제안했습니다. 그들은 이 논문에서 새로운 SOTA 결과를 얻었으며 기계 학습 분야 최고의 컨퍼런스인 NeurIPS 2023에서 승인되었습니다

6D 객체 자세 추정은 컴퓨터 비전, 로봇 공학, 가상 분야에서 중요한 작업입니다. 현실과 증강 현실과 기타 분야에는 많은 응용 분야가 있습니다. 인스턴스 수준의 객체 자세 추정은 상당한 발전을 이루었지만 객체의 특성에 대한 사전 지식이 필요하므로 새로운 객체에 쉽게 적용할 수 없어 실제 적용에 한계가 있습니다. 이러한 문제를 해결하기 위해 최근에는 카테고리 수준의 객체 자세 추정에 초점을 맞춘 연구가 점점 더 많아지고 있다. 카테고리 수준의 포즈 추정에는 객체의 CAD 모델에 의존하지 않고 훈련 데이터와 동일한 카테고리의 새로운 객체에 직접 적용할 수 있는 알고리즘이 필요합니다.

현재 널리 사용되는 6D 객체 포즈 추정 방법은 크게 두 가지 범주로 나눌 수 있습니다. 하나는 직접 회귀의 엔드투엔드 방법이고, 다른 하나는 객체 범주 사전 기반의 2단계 방법입니다. . 그러나 이러한 방법은 모두 문제를 회귀 작업으로 모델링하므로 대칭 객체와 부분적으로 보이는 객체를 다룰 때 다중 솔루션 문제를 처리하려면 특별한 설계가 필요합니다.

이러한 문제를 극복하기 위해 북경 대학교 연구팀은 새로운 방법을 제안했습니다. 카테고리 수준의 6D 객체 포즈 추정 패러다임은 문제를 조건부 분포 모델링 문제로 재정의하여 최신 최적 성능을 달성합니다. 그들은 또한 영상에서 볼 수 있듯이 물을 붓는 등의 로봇 조작 작업에도 이 방법을 성공적으로 적용했습니다.

논문을 보려면 다음 링크를 클릭하세요: https://arxiv.org/abs/2306.10531

범주 수준 6D 객체 포즈 추정의 다중 솔루션 문제

In 6D 객체 포즈 추정 범주 수준에서 다중 솔루션 문제는 동일한 관찰 조건에서 여러 개의 합리적인 태도 추정이 있을 수 있음을 의미합니다. 이러한 상황은 그림 1에 표시된 대로 대칭 개체와 부분 관찰이라는 두 가지 요인으로 인해 주로 발생합니다. 구형 또는 원통형 물체와 같은 대칭형 물체의 경우 서로 다른 방향에서 보면 완전히 동일할 수 있으므로 이론적으로 자세에 대해 가능한 참값은 무한합니다. 동시에, 컵 손잡이를 관찰하지 않고서는 완전한 물체 관찰을 얻을 수 없습니다. 자세의 참값은 무한히 많습니다

^{그림 1. 다중 풀이 문제의 근원 : 대칭 객체 및 부분 관찰}

방법 소개

위의 다중 풀이 문제를 어떻게 처리합니까? 저자는 이 문제를 조건부 분포 모델링 문제로 보고 확산 모델을 활용하여 객체 포즈의 조건부 분포를 추정하는 GenPose라는 방법을 제안합니다. 이 방법은 먼저 점수 기반 확산 모델을 사용하여 개체 포즈 후보를 생성합니다. 그런 다음 후보는 두 단계로 집계됩니다. 먼저 우도 추정을 통해 이상값을 필터링한 다음 나머지 후보 포즈를 평균 풀링을 통해 집계합니다. 우도를 추정할 때 지루한 적분 계산의 필요성을 피하기 위해 연구 저자는 에너지 기반 확산 모델의 훈련 방법을 도입하여 엔드 투 엔드 우도 추정을 달성했습니다.

^{그림 2 GenPose의 프레임워크 구조 시연}

점수 기반 확산 모델을 사용하여 객체 포즈 후보를 생성합니다

재작성된 내용: 이 단계의 목적은 다중 해 문제를 해결하는 것입니다. 그렇다면 객체 포즈의 조건부 확률 분포를 어떻게 모델링해야 할까요? 저자들은 분수 기반 확산 모델을 채택하고 VE SDE(변이 오일러 확률미분 방정식)를 사용하여 연속 확산 프로세스를 구축했습니다. 모델의 훈련 과정에서 목표는 섭동된 조건부 태도 분포의 분수 함수를 추정하고 최종적으로 확률 흐름 ODE(Ordinary Differential Equation)

^{을 통해 조건부 분포에서 후보 객체 태도를 샘플링하는 것입니다. 확산 모델은 그림 3과 같이 객체 포즈 후보를 생성합니다. 이는 객체 인식의 정확도를 높이기 위해 적용되며 훈련된 조건부 분포를 통해 무제한의 객체 포즈 후보를 생성할 수 있습니다. 이 후보들로부터 최종 개체 포즈를 어떻게 도출할 수 있나요? 가장 간단한 방법은 무작위 샘플링이지만, 이 방법은 예측 결과의 안정성을 보장하지 못할 수도 있습니다. 평균 풀링을 통해 이러한 포즈 후보를 집계하는 것이 가능합니까? 그러나 이 집계 방법은 포즈 후보의 품질을 고려하지 않으며 이상값의 영향을 받기 쉽습니다. 저자는 우도 추정을 통해 포즈 후보의 품질을 고려하고 집계할 수 있다고 믿습니다. 구체적으로, 우도 추정 결과를 바탕으로 객체 포즈 후보를 정렬하고 우도 추정이 낮은 이상값을 필터링한 후 나머지 포즈 후보를 평균 풀링하여 집계된 포즈 추정 결과를 얻습니다. 그러나 우도 추정을 위해 확산 모델을 사용하려면 복잡한 적분 계산이 필요하므로 추론 속도에 심각한 영향을 미치고 실제 적용이 제한됩니다. 이러한 문제를 해결하기 위해 저자는 end-to-end 우도 추정에 직접 사용되는 에너지 기반 확산 모델을 학습시켜 후보군을 빠르게 집계할 것을 제안했습니다.}

그림 4. 에너지- 유사성 추정에는 기반 확산 모델이 사용됩니다. 무작위 추정 및 객체 포즈 후보 집계

실험 및 결과

^{저자는 REAL275 데이터 세트에서 GenPose의 성능을 검증했습니다. GenPose가 GenPose보다 훨씬 우수하다는 것을 알 수 있습니다. 더 많은 모달 정보를 사용하는 방법과 비교해도 GenPose는 여전히 저자가 제안한 생성 객체 포즈 추정 패러다임의 장점을 보여줍니다. 그림 5는 시각화 결과이다.}

다시 작성해야 할 내용은 다른 방법과의 비교

다섯 번째 그림은 다양한 방법의 예측 시각화 효과를 보여줍니다

저자는 다른 집계도 연구했습니다. 방법의 영향(무작위 샘플링, 무작위 정렬 및 집계, 에너지 기반 정렬 및 집계, GT 정렬 및 집계) 결과는 에너지 모델을 사용한 순위 지정이 무작위 샘플링 방법보다 훨씬 뛰어난 것으로 나타났습니다. 또한 저자가 객체 포즈 후보를 집계하기 위해 제안한 에너지 기반 확산 모델은 무작위 샘플링 및 무작위 정렬 후 평균 풀링 방법보다 훨씬 우수합니다. 표 2. 다양한 집계 방법 비교

영향을 더 잘 분석합니다. 에너지 모델의 경우, 저자는 추정된 자세 오류와 예측된 에너지 사이의 상관관계를 추가로 연구했습니다. 그림 4에서 볼 수 있듯이 예측된 포즈 오류와 에너지 사이에는 일반적인 음의 상관관계가 있습니다. 에너지 모델은 오류가 큰 자세를 식별할 때 더 나은 성능을 발휘하지만 오류가 작은 자세를 식별할 때는 성능이 더 나쁩니다. 이는 가장 큰 에너지가 있는 자세를 직접 선택하는 대신 예측 에너지를 사용하여 이상값을 제거하는 이유를 설명합니다

.

그림 6. 에너지 및 예측 오류 상관 분석

저자는 또한 카테고리 사전 지식에 의존하지 않고 카테고리 전체에서 잘 수행되는 교차 카테고리 일반화에서 이 방법의 능력을 입증했습니다. 또한 이전 방법보다 훨씬 더 좋습니다

^{표 3은 카테고리 간 일반화 효과를 보여줍니다. 왼쪽 대각선은 훈련 데이터 세트에 테스트 카테고리가 포함되었을 때의 성능을 나타내고, 오른쪽 대각선은 훈련 중 테스트 카테고리가 제거된 후의 성능을 나타냅니다}

동시에, 기사의 단일 단위인 확산 모델의 폐쇄 루프 생성 프로세스는 특별한 설계 없이도 6D 객체 포즈 추적 작업에 직접 사용될 수 있습니다. 이 방법은 최첨단 6D보다 성능이 뛰어납니다. 여러 지표에서 객체 자세 추적 방법을 분석하였고 그 결과를 표 4에 나타내었다.

^{표 4. 카테고리 수준 6D 객체 포즈 추적 성능 비교}

요약 및 전망

이 연구는 카테고리 수준 6D 객체 포즈 추정을 위한 새로운 패러다임을 제안하며, 훈련 프로세스는 대칭일 필요는 없습니다. 객체 및 부품 관찰로 인해 발생하는 다중 솔루션 문제를 해결하기 위해 특별한 설계가 필요하지 않으며 새로운 SOTA 성능이 달성됩니다. 향후 작업에서는 확산 모델의 최근 발전을 활용하여 추론 프로세스를 가속화하고 강화 학습을 통합하여 활성 6D 객체 포즈 추정을 달성하는 것을 고려할 것입니다.

팀 소개:

본 연구의 교신저자인 Dong Hao는 북경대학교의 조교수, 박사 지도교수, 인문학 젊은 학자, Chi Yuan 학자로 Hyperplane Lab을 설립하고 이끌고 있습니다. 북경대학교에서.

논문의 공동 저자인 Zhang Jiyao와 Wu Mingdong은 북경대학교 박사과정 학생이며 지도교수는 Dong Hao 교수입니다. 자세한 내용은 개인 홈페이지를 참조하세요. 다시 작성해야 할 내용은 다음과 같습니다. Zhang Jiyao와 Wu Mingdong은 Peking University의 박사 과정 학생이며 논문을 공동 집필했으며 Mr. Dong Hao가 그들의 지도교수입니다. 구체적인 정보는 개인 홈페이지를 확인하세요

• 다시 작성해야 할 내용은 다음과 같습니다: https://jiyao06.github.io/

• https://aaronanima.github.io/

위 내용은 새 제목: Peking University는 새로운 시대를 열었습니다. 카테고리 수준 6D 객체 자세 추정의 새로운 패러다임이 NeurIPS 2023에서 최신 및 최고의 결과를 달성했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!