객체 자세 추정은 구체화된 지능, 로봇 작동, 증강 현실과 같은 분야 등 다양한 실제 응용 분야에서 핵심적인 역할을 합니다.
이 분야에서 가장 먼저 주목을 받은 작업은 인스턴스 수준 6D 포즈 추정입니다. 이는 모델 훈련을 위해 대상 개체에 대한 주석이 달린 데이터가 필요하므로 심층 모델을 개체별로 만들고 새 개체로 전송할 수 없습니다. 우수한. 나중에는 보이지 않는 물체를 처리하는 데 사용되지만 물체가 알려진 관심 범주에 속해야 하는 범주 수준 6D 포즈 추정으로 점차 연구 초점이 바뀌었습니다.
그리고 제로샷 6D 포즈 추정은 모든 객체의 CAD 모델이 주어지면 장면에서 대상 객체를 감지하고 6D 포즈를 추정하는 것을 목표로 하는 보다 일반적인 작업 설정입니다. 그 중요성에도 불구하고 이 제로샷 작업 설정은 객체 감지 및 자세 추정 모두에서 심각한 문제에 직면해 있습니다. ㅋㅋ 그림 1. Zero-sample 6D 객체 자세 추정 작업
따라서 Cross-Dimensional Intelligence, The Chinese University of Hong Kong(Shenzhen) 및 South China University of Technology의 연구원들이 새로운 제로 샘플 6D 객체 포즈 추정 프레임워크 SAM-6D를 제안했습니다. 이 연구는 CVPR 2024에서 인정을 받았습니다.
문서 링크: https://arxiv.org/pdf/2311.15707.pdf
- SAM-6D 제로 샘플 6D 객체 포즈 추정은 인스턴스 분할과 포즈 추정을 포함한 두 단계를 통해 달성됩니다. 이에 따라 SAM-6D는 인스턴스 분할 모델(ISM) 및 포즈 추정 모델(PEM)
- 이라는 두 개의 전용 하위 네트워크를 활용하여 RGB-D 장면 이미지에서 목표를 달성합니다. 여기서 ISM은 SAM을 사용합니다. 임의 객체의 인스턴스 분할을 달성하기 위해 신중하게 설계된 객체 일치 점수와 결합된 탁월한 출발점인 PEM은 로컬-로컬 2단계 포인트 세트 매칭 프로세스를 통해 객체 포즈 문제를 해결합니다. SAM-6D의 개요는 그림 2에 나와 있습니다. ㅋㅋ ~ AM-6D는 혁신적인 제로 샘플 6D 포즈 추정 프레임워크로, 임의 객체의 CAD 모델을 사용하여 RGB-D 이미지에서 대상 객체의 인스턴스 분할 및 포즈 추정을 달성하며, BOP의 7개 핵심 데이터 세트에서 탁월한 성능을 발휘합니다[2].
SAM-6D는 포즈 추정을 로컬 대 로컬 포인트 세트 매칭 문제로 취급하고 간단하지만 효과적인 배경 토큰 설계를 채택하고 임의 객체에 대한 2단계 포인트 세트 매칭 모델을 먼저 제안합니다. 초기 객체 포즈를 얻기 위해 대략적인 점 집합 매칭을 수행하고, 두 번째 단계에서는 새로운 희소-밀집 점 집합 변환기를 사용하여 미세한 점 집합 매칭을 수행하여 포즈를 더욱 최적화합니다.
인스턴스 분할 모델(ISM)SAM-6D는 인스턴스 분할 모델(ISM)을 사용하여 임의 개체의 마스크를 감지하고 분할합니다.
RGB 이미지로 표현된 복잡한 장면을 고려하여 ISM은 SAM(Segmentation Everything Model)의 제로샷 전송 기능을 활용하여 가능한 모든 후보를 생성합니다. 각 후보 개체에 대해 ISM은 개체 일치 점수를 계산하여 의미, 모양 및 기하학 측면에서 대상 개체와 얼마나 잘 일치하는지 추정합니다. 마지막으로, 단순히 일치 임계값을 설정함으로써 대상 개체와 일치하는 인스턴스를 식별할 수 있습니다.
- 객체 일치 점수는 세 가지 일치 용어의 가중 합으로 계산됩니다.
- 의미론적 일치 용어 - 대상 객체의 경우 ISM은 여러 관점에서 객체 템플릿을 렌더링하고 사전 교육을 위해 DINOv2 [3]를 사용합니다. ViT 모델 후보 객체와 객체 템플릿의 의미적 특징을 추출하고 이들 간의 상관관계 점수를 계산합니다. 상위 K개의 최고 점수를 평균하여 의미 매칭 점수를 구하고, 가장 높은 상관 점수에 해당하는 객체 템플릿을 가장 일치하는 템플릿으로 간주합니다.
-
Appearance Matching - 최적의 매칭 템플릿을 위해 ViT 모델을 사용하여 이미지 블록 특징을 추출하고, 이들과 후보 객체의 블록 특징 간의 상관관계를 계산하여 모양 매칭 점수를 구하고, 이는 의미상 유사성을 구별하는 데 사용됩니다. 하지만 외모와 일치하는 항목은 다릅니다.
기하학적 일치 - ISM은 다양한 물체의 모양과 크기의 차이와 같은 요소를 고려하여 기하학적 일치 점수도 설계했습니다. 가장 잘 일치하는 템플릿과 후보 객체의 포인트 클라우드에 해당하는 회전의 평균은 대략적인 객체 포즈를 제공할 수 있으며, 이 포즈를 이용하여 객체 CAD 모델을 강성 변환하고 투영하면 바운딩 박스를 얻을 수 있습니다. 경계 상자와 후보 경계 상자 사이의 IoU(Intersection-Over-Union) 비율을 계산하여 기하학적 일치 점수를 얻습니다.
PEM(자세 추정 모델)
대상 개체와 일치하는 각 후보 개체에 대해 SAM-6D는 PEM(자세 추정 모델)을 활용하여 개체의 CAD 모델을 기준으로 6D 포즈를 예측합니다.
분할된 후보 객체와 객체 CAD 모델의 샘플링 포인트 세트를 각각
및
로 표시합니다. 여기서 N_m과 N_o는 동시에 포인트 수를 나타내며 이 두 포인트 세트의 특성을
및 로 나타냅니다.
, C는 해당 기능의 채널 수를 나타냅니다. PEM의 목표는 P_m에서 P_o까지의 로컬 대 로컬 대응을 나타내는 할당 행렬을 얻는 것입니다. 폐색으로 인해 P_o는 P_m과 부분적으로만 일치하고 분할 부정확성과 센서 노이즈로 인해 P_m은 부분 AND 일치만 부분적으로 일치합니다. P_o.
두 포인트 세트에서 겹치지 않는 포인트를 할당하는 문제를 해결하기 위해 ISM은 기능 유사성을 기반으로 로컬 간 통신을 효과적으로 설정할 수 있는
및
로 표시된 배경 토큰을 장착합니다. 구체적으로 주의 행렬은 먼저 다음과 같이 계산할 수 있습니다.
그런 다음 분포 행렬
과
는 각각 행과 열에 따른 소프트맥스 연산을 나타내고
는 상수를 나타냅니다.
의 각 행(첫 번째 행 제외)의 값은 P_o의 배경 및 중간점과 포인트 세트 P_m의 각 포인트 P_m의 일치 확률을 나타냅니다. 배경)을 찾을 수 있습니다.
이 계산되면 모든 일치하는 포인트 쌍 {(P_m,P_o)}과 해당 일치 점수를 수집할 수 있으며 최종적으로 가중치가 부여된 SVD를 사용하여 개체 포즈를 계산합니다. ㅋㅋㅋ ~
백그라운드 토큰을 기반으로 한 위 전략을 사용하여 PEM에서 두 개의 점 세트 매칭 단계가 설계되었습니다. 모델 구조는 특징 추출, 대략적인 포인트 세트 매칭 및 미세 포인트 세트 매칭3개의 모듈을 포함합니다.
대략적인 점 집합 매칭 모듈은 희소 대응을 구현하여 초기 개체 포즈를 계산한 다음 이 포즈를 사용하여 후보 개체의 점 집합을 변환하여 위치 인코딩 학습을 달성합니다.
미세 점 집합 매칭 모듈은 후보 객체와 대상 객체의 샘플 점 집합의 위치 인코딩을 결합하여 1단계에서 대략적인 대응성을 주입하고 더욱 조밀한 대응성을 설정하여 보다 정확한 객체 포즈를 얻습니다. 이 단계에서 조밀한 상호 작용을 효과적으로 학습하기 위해 PEM은 조밀한 특성의 희소 버전에 대한 상호 작용을 구현하는 새로운 희소-밀집 점 세트 변환기를 도입하고 선형 변환기[5]를 활용하여 향상된 희소 특성을 확산으로 다시 조밀하게 변환합니다. 특징.
실험 결과
SAM-6D의 두 가지 하위 모델의 경우 인스턴스 분할 모델(ISM)은 네트워크 재교육 및 미세 조정이 필요 없이 SAM을 기반으로 구축되었으며, 포즈 추정 모델(PEM)은 MegaPose를 활용합니다. [4]는 훈련을 위한 대규모 ShapeNet-Objects 및 Google-Scanned-Objects 합성 데이터 세트를 제공합니다.
제로 샘플 기능을 검증하기 위해 SAM-6D는 LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB 및 YCB-V를 포함한 BOP [2]의 7개 핵심 데이터 세트에서 테스트되었습니다. . 표 1과 2는 각각 이 7개 데이터 세트에 대한 다양한 방법의 인스턴스 분할 및 포즈 추정 결과를 비교한 것입니다. 다른 방법과 비교하여 SAM-6D는 두 가지 방법 모두에서 매우 우수한 성능을 발휘하여 강력한 일반화 능력을 충분히 보여줍니다. B 표 1. BOP의 7개 핵심 데이터 세트에 대한 다양한 방법의 세분화 결과 예시
표 2. BOP의 7개 핵심 데이터 세트에 대한 다양한 방법의 태도에 대한 다양한 방법 결과 비교
그림 4는 7개의 BOP 데이터 세트에 대한 SAM-6D의 감지 분할 및 6D 포즈 추정의 시각적 결과를 보여줍니다. 여기서 (a)와 (b)는 각각 테스트된 RGB 이미지와 깊이 맵이고, (c)는 (d)와 (e)는 각각 감지 분할과 6D 포즈의 시각화 결과입니다. -그림 4. BOP에 있는 SAM-6D의 7개 핵심 데이터 세트의 시각적 결과.SAM-6D 구현에 대한 자세한 내용은 원본 논문을 읽어 보시기 바랍니다.
참고 자료:[1] Alexander Kirillov et., "Segment everything."
[2] Martin Sundermeyer 외, "특정 강체의 감지, 분할 및 포즈 추정에 관한 Bop 챌린지 2022"[3] Maxime Oquab 외, "Dinov2: 학습 감독 없는 강력한 시각적 기능."
[4] Yann Labbe 외, "Megapose: 렌더링 및 비교를 통해 새로운 물체의 6d 포즈 추정."
[5] Angelos Katharopoulos 외 . al., "변환기는 RNN입니다. 빠른 자동 회귀
선형 주의력을 갖춘 변환기입니다."
위 내용은 CVPR 2024 | 제로 샘플 6D 객체 자세 추정 프레임워크 SAM-6D, 구체화된 지능에 한 걸음 더 다가가다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

Stanford University Institute for Human-Oriented Intificial Intelligence가 발표 한 2025 인공 지능 지수 보고서는 진행중인 인공 지능 혁명에 대한 훌륭한 개요를 제공합니다. 인식 (무슨 일이 일어나고 있는지 이해), 감사 (혜택보기), 수용 (얼굴 도전) 및 책임 (우리의 책임 찾기)의 네 가지 간단한 개념으로 해석합시다. 인지 : 인공 지능은 어디에나 있고 빠르게 발전하고 있습니다 인공 지능이 얼마나 빠르게 발전하고 확산되고 있는지 잘 알고 있어야합니다. 인공 지능 시스템은 끊임없이 개선되어 수학 및 복잡한 사고 테스트에서 우수한 결과를 얻고 있으며 1 년 전만해도 이러한 테스트에서 비참하게 실패했습니다. AI 복잡한 코딩 문제 또는 대학원 수준의 과학적 문제를 해결한다고 상상해보십시오-2023 년 이후

메타의 라마 3.2 : 멀티 모달 및 모바일 AI의 도약 Meta는 최근 AI에서 강력한 비전 기능과 모바일 장치에 최적화 된 가벼운 텍스트 모델을 특징으로하는 AI의 상당한 발전 인 Llama 3.2를 공개했습니다. 성공을 바탕으로 o

이번 주 AI 환경 : 발전의 회오리 바람, 윤리적 고려 사항 및 규제 토론. OpenAi, Google, Meta 및 Microsoft와 같은 주요 플레이어

연결의 편안한 환상 : 우리는 AI와의 관계에서 진정으로 번성하고 있습니까? 이 질문은 MIT Media Lab의 "AI (AI)를 사용하여 인간의 발전"심포지엄의 낙관적 톤에 도전했습니다. 이벤트는 절단 -EDG를 보여주었습니다

소개 차등 방정식, 최적화 문제 또는 푸리에 분석과 같은 복잡한 문제를 해결하는 과학자 또는 엔지니어라고 상상해보십시오. Python의 사용 편의성 및 그래픽 기능은 매력적이지만 이러한 작업에는 강력한 도구가 필요합니다.

메타의 라마 3.2 : 멀티 모달 AI 강국 Meta의 최신 멀티 모드 모델 인 LLAMA 3.2는 AI의 상당한 발전으로 향상된 언어 이해력, 개선 된 정확도 및 우수한 텍스트 생성 기능을 자랑합니다. 그것의 능력 t

데이터 품질 보증 : Dagster로 점검 자동화 및 큰 기대치 데이터 품질이 높다는 것은 데이터 중심 비즈니스에 중요합니다. 데이터 볼륨 및 소스가 증가함에 따라 수동 품질 관리는 비효율적이며 오류가 발생하기 쉽습니다.

메인 프레임 : AI 혁명의 이름없는 영웅 서버는 일반 목적 애플리케이션 및 여러 클라이언트를 처리하는 데 탁월하지만 메인 프레임은 대량의 미션 크리티컬 작업을 위해 구축됩니다. 이 강력한 시스템은 자주 무거움에서 발견됩니다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

Dreamweaver Mac版
시각적 웹 개발 도구

ZendStudio 13.5.1 맥
강력한 PHP 통합 개발 환경

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
