'AI Perspective Eye', Marr 상을 세 번이나 수상한 Andrew가 팀을 이끌고 모든 물체의 폐쇄 및 완성 문제를 해결합니다.

폐쇄는 컴퓨터 비전에서 가장 기본적이지만 아직 해결되지 않은 문제 중 하나입니다. 왜냐하면 폐쇄는 시각적 정보의 부족을 의미하는 반면, 머신 비전 시스템은 인식과 이해를 위해 시각적 정보에 의존하고 현실 세계에서는 객체 간 상호 폐쇄이기 때문입니다. 어디에나 있습니다. 옥스퍼드 대학 VGG 연구소의 Andrew Zisserman 팀의 최신 연구는 임의 객체의 폐색 완성 문제를 체계적으로 해결하고 이 문제에 대한 새롭고 보다 정확한 평가 데이터 세트를 제안합니다. 이 작품은 X 플랫폼에서 MPI 사장 Michael Black, CVPR 공식 계정, 서던캘리포니아대학교 컴퓨터공학과 공식 계정 등에서 호평을 받았습니다. 다음은 "Amodal Ground Truth and Completion in the Wild" 논문의 주요 내용입니다.

• 논문 링크: https://arxiv.org/pdf/2312.17247.pdf
• 프로젝트 홈페이지: https://www.robots.ox.ac.uk/~vgg /research/amodal/
• 코드 주소: https://github.com/Championchess/Amodal-Completion-in-the-Wild

Amodal Segmentation은 객체를 완성하기 위해 설계되었습니다. 개체의 보이는 부분과 보이지 않는 부분을 제공하는 모양 마스크입니다. 이 작업은 객체 인식, 대상 감지, 인스턴스 분할, 이미지 편집, 3D 재구성, 비디오 객체 분할, 객체 간 관계 추론 지원, 로봇 조작 및 탐색 등 많은 다운스트림 작업에 도움이 될 수 있습니다. 그대로 모양이 도움이 될 것입니다.

그러나 현실 세계에서 비모달 분할에 대한 모델의 성능을 평가하는 방법은 어려운 문제입니다. 이러한 객체의 완전한 모양 표준 또는 비모달 마스크는 어떻습니까? 이전 작업에는 비모달 마스크의 수동 주석이 포함되었지만 이러한 주석에 대한 참조 표준은 사람의 오류 발생을 피하기 어렵습니다. 그러나 이런 방식으로 얻은 사진은 실제 사진 장면이 아닙니다. 따라서 본 연구에서는 3D 모델 투영을 통해 여러 객체 범주를 포괄하는 대규모 실제 이미지 데이터 세트(MP3D-Amodal)를 구성하고 아모달 분할 성능을 정확하게 평가하기 위해 아모달 마스크를 제공하는 방법을 제안합니다. 다양한 데이터 세트의 비교는 다음과 같습니다.

구체적으로 MatterPort3D 데이터 세트를 예로 들면, 실제 사진과 장면의 3차원 구조가 포함된 모든 데이터 세트에 대해 데이터를 결합할 수 있습니다. 장면에 있는 모든 객체의 3차원 모양이 카메라에 동시에 투영되어 각 객체의 모달 마스크(객체가 서로 가려져 있기 때문에 보이는 모양)를 얻은 다음 각 객체의 3차원 모양을 얻습니다. 장면의 객체가 비모달 마스크, 즉 완전한 모양을 얻기 위해 카메라에 별도로 투영됩니다. 모달 마스크와 비모달 마스크를 비교하여 가려진 객체를 골라낼 수 있습니다.

데이터세트의 통계는 다음과 같습니다.

데이터세트의 샘플은 다음과 같습니다.

완전한 모양 저자는 모든 객체의 재구성 작업을 수행하기 위해 Stable Diffusion 모델의 기능에서 객체의 전체 모양에 대한 사전 지식을 추출하여 가려진 객체의 비모달 분할을 수행합니다. 구체적인 아키텍처는 다음과 같습니다(SDAmodal):

Stable Diffusion 기능을 사용하는 이유는 Stable Diffusion이 그림을 완성하는 능력이 있어서 물체에 대한 모든 정보를 어느 정도 담을 수 있고, 많은 수의 학습을 통해 학습되었기 때문입니다. 사진을 통해 기대할 수 있는 기능은 모든 환경에서 모든 개체를 처리할 수 있는 능력을 갖추고 있습니다. 이전의 2단계 프레임워크와 달리 SDAmodal은 주석이 달린 폐색 마스크를 입력으로 요구하지 않습니다. SDAmodal은 구조가 간단하지만 강력한 제로 샘플 일반화 기능을 보여줍니다(다음 표의 설정 F와 H를 비교하면 COCOA에 대한 교육에서만 향상될 수 있음). 다른 도메인 및 다른 카테고리의 다른 데이터 세트에 대해), 가려진 객체에 대한 주석이 없더라도 SDAmodal은 여러 유형의 가려진 객체를 다루는 기존 데이터 세트 COCOA와 새로 제안된 MP3D-Amodal 데이터 세트를 개선할 수 있습니다. SOTA 성능(설정 H)이 달성되었습니다.

정량적 실험 외에도 정성적 비교는 SDAmodal 모델의 장점도 반영합니다. 아래 그림에서 볼 수 있습니다(모든 모델은 COCOA에서만 훈련됨). COCOA에서 나오든 다른 MP3D-Amodal에서 나오든 SDAmodal은 비모달 분할 효과를 크게 향상시킬 수 있으며 예측된 비모달 마스크는 실제 마스크에 더 가깝습니다.

자세한 내용은 원문을 읽어주세요.

위 내용은 'AI Perspective Eye', Marr 상을 세 번이나 수상한 Andrew가 팀을 이끌고 모든 물체의 폐쇄 및 완성 문제를 해결합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!