ICCV 2023에서는 ControlNet, "Split Everything" 등 인기 논문의 우승자를 발표했습니다.

이번 주, 프랑스 파리에서 컴퓨터 비전 국제 컨퍼런스(ICCV)가 열렸습니다.

ICCV는 컴퓨터 비전 분야 세계 최고 학술대회로 2년마다 개최됩니다.

CVPR과 마찬가지로 ICCV의 인기도 최고치를 기록했습니다.

오늘 개막식에서 ICCV는 올해 논문 데이터를 공식 발표했습니다. 이번 ICCV에 제출된 총 제출 건수는 8068건에 달했으며 그 중 2160건이 승인되었으며 승인률은 26.8%로 이전 ICCV 2021보다 약간 높았습니다. 합격률은 25.9%

논문 주제와 관련하여 관계자는 관련 데이터도 공개했습니다. 다중 관점과 센서를 갖춘 3D 기술이 가장 인기가 있습니다

오늘 개막식에서 가장 중요한 것은 부분 당첨정보를 알려드리는 것입니다. 이제 최우수 논문, 최우수 논문 후보, 우수 학생 논문을 하나씩 공개하겠습니다

Best Paper - Marr Prize

올해 최우수 논문(Marr Prize)은 총 2편의 논문이 수상했습니다.

첫 번째 기사는 토론토 대학교 연구원의 글입니다.

• 논문 주소: https://openaccess.thecvf.com/content/ICCV2023/papers/Wei_Passive_Ultra-Wideband_Single-Photon_Imaging_ICCV_2023_paper.pdf
• 저자: Mian Wei, Sotiris Nousias, Rahul Gulve, David B. Lindell, Kiriakos N. Kutulakos
• 기관: University of Toronto

요약: 이 논문은 극단적인 시간 규모(초에서 피코초)에서 동적 장면을 동시에 이미징하는 문제를 고려하고 이미지화됩니다. 많은 빛이나 그것을 방출하는 광원으로부터의 타이밍 신호 없이 수동적으로. 이 경우 단일 광자 카메라에 대한 기존 플럭스 추정 기술이 실패하기 때문에 우리는 확률론적 미적분학에서 통찰력을 얻어 광자 감지 타임스탬프 스트림에서 재구성된 픽셀의 시변 플럭스를 활성화하는 플럭스 감지 이론을 개발합니다.

이 문서에서는 이 이론을 사용하여 수동 자유 실행 SPAD 카메라가 전체 DC에서 31GHz 범위에 걸쳐 있을 수 있는 저유속 조건에서 달성 가능한 주파수 대역폭을 가짐을 보여줍니다. 동시에 이 논문은 새로운 푸리에 영역 플럭스 재구성 알고리즘을 도출하고 이 알고리즘의 노이즈 모델이 매우 낮은 광자 수 또는 무시할 수 없는 데드 타임

에서도 실험을 통해 입증되었습니다. 비동기 이미징 메커니즘은 다음과 같습니다. (1) 동기화가 필요 없이 서로 다른 속도로 작동하는 광원(예: 전구, 프로젝터, 다중 펄스 레이저)에 의해 동시에 조명되는 장면을 이미징합니다. (2) 수동 비선형을 달성합니다. 시력 비디오 획득; (3) 초광대역 비디오를 녹화한 후 나중에 30Hz로 재생하여 일상적인 움직임을 보여주거나 수십억 배 느리게 재생하여 빛 자체의 전파를 보여줍니다.

파트 2 우리가 ControNet으로 알고 있는 것입니다.

• 논문 주소: https://arxiv.org/pdf/2302.05543.pdf
• 저자: Lvmin Zhang, Anyi Rao, Maneesh Agrawala
• 기관: Stanford University

요약: 이 연구에서는 ControlNet이라는 엔드투엔드 신경망 아키텍처를 제안합니다. 이 아키텍처는 확산 모델을 제어하기 위한 추가 조건(예: 안정적인 확산)을 추가하여 이미지 생성을 개선합니다. 동시에 ControlNet은 선화에서 풀 컬러 이미지를 생성하고 동일한 깊이 구조의 이미지를 생성하며 손 키 포인트 등을 통해 손 생성 효과를 최적화할 수 있습니다.

ControlNet의 핵심 아이디어는 텍스트 설명에 몇 가지 추가 조건을 추가하여 확산 모델(예: Stable Diffusion)을 제어함으로써 생성된 이미지의 캐릭터 포즈, 깊이, 그림 구조 및 기타 정보를 더 잘 제어하는 ​​것입니다.

여기서 추가 조건은 이미지 형식으로 입력됩니다. 모델은 이를 기반으로 Canny Edge 감지, 깊이 감지, 의미론적 분할, Hough 변환 선 감지, 전체 중첩 모서리 감지(HED) 및 인간 자세를 수행할 수 있습니다. 입력 이미지 인식 등을 수행한 다음 생성된 이미지에 이 정보를 유지합니다. 이 모델을 사용하면 선화나 그래피티를 풀컬러 이미지로 직접 변환하고, 동일한 깊이 구조의 이미지를 생성할 수 있으며, 손 키 포인트를 통해 캐릭터 손 생성을 최적화할 수 있습니다.

자세한 소개는 Heart of the Machine의 "AI 차원 축소가 인간 화가를 강타하고 Vincentian 그래프가 ControlNet에 도입되며 깊이와 가장자리 정보가 완전히 재사용됩니다" 보고서를 참조하세요

최우수 논문 후보: SAM

올해 4월 Meta는 모든 이미지나 비디오의 객체에 대한 마스크를 생성할 수 있는 "Segment Everything(SAM)"이라는 인공 지능 모델을 출시했습니다. 비전 저는 매우 충격을 받았고 어떤 사람들은 "컴퓨터 비전은 더 이상 존재하지 않습니다"라고 말하기도 했습니다.

이제 많은 기대를 모았던 이 논문이 최우수 논문 후보에 올랐습니다.

• 논문 주소: https://arxiv.org/abs/2304.02643
• 기관: Meta AI

재작성된 내용: 분할 문제를 해결하기 전에 일반적으로 두 가지 방법이 있습니다. 첫 번째는 대화형 분할로, 모든 클래스의 객체를 분할하는 데 사용할 수 있지만 사람이 마스크를 반복적으로 조정하여 방법을 안내해야 합니다. 두 번째는 자동 분할로, 미리 정의된 특정 개체 범주(예: 고양이 또는 의자)를 분할하는 데 사용할 수 있지만 훈련을 위해 수동으로 주석을 추가한 개체(예: 분할된 고양이의 수천 또는 수만 개 예)가 필요합니다. . 그러나 이 두 가지 방법 중 어느 것도 보편적인 완전 자동 분할 방법을 제공하지 않습니다.

Meta가 제안한 SAM은 이 두 가지 방법을 잘 요약합니다. Interactive Segmentation과 자동 Segmentation을 쉽게 수행할 수 있는 단일 모델입니다. 모델의 프롬프트 가능한 인터페이스를 통해 사용자는 모델에 대한 올바른 프롬프트(클릭, 상자 선택, 텍스트 등)를 간단히 디자인하여 유연한 방식으로 사용할 수 있으며 광범위한 세분화 작업을 수행할 수 있습니다.

요약하려면 , 이러한 기능을 사용하면 SAM이 새로운 작업 및 필드에 적응할 수 있습니다. 이러한 유연성은 이미지 분할 분야에서 독특합니다

자세한 내용은 Machine Heart 보고서 "CV가 존재하지 않습니까?"를 참조하세요. Meta는 "모든 것을 분할"하는 AI 모델을 출시하고 CV는 GPT-3 순간을 가져올 수 있습니다》

Best Student Paper

이 연구는 Cornell University, Google Research 및 UC Berkeley의 연구원이 공동으로 완료했으며, 첫 번째 저자는 다음과 같습니다. Cornell Tech의 박사과정 학생 Qianqian Wang입니다. 그들은 완전하고 전체적으로 일관된 모션 표현인 OmniMotion을 공동으로 제안했으며, 비디오의 모든 픽셀에 대해 정확하고 완전한 모션 추정을 수행하기 위한 새로운 테스트 시간 최적화 방법을 제안했습니다.

• 논문 주소: https://arxiv.org/abs/2306.05422
• 프로젝트 홈페이지: https://omnimotion.github.io/

요약: In the field of 컴퓨터 비전에는 일반적으로 사용되는 두 가지 모션 추정 방법이 있습니다: 희소 특징 추적 및 조밀한 광학 흐름. 그러나 두 방법 모두 고유한 단점이 있습니다. 희소 특징 추적은 모든 픽셀의 동작을 모델링할 수 없으며, 조밀한 광학 흐름은 오랫동안 동작 궤적을 캡처할 수 없습니다.

본 연구에서 제안한 OmniMotion은 준3D 표준 볼륨을 사용하여 비디오를 표현하고 로컬 공간과 표준 공간 간의 전단사를 통해 각 픽셀을 추적합니다. 이 표현은 전체적인 일관성을 가능하게 하고, 객체가 가려진 경우에도 모션 추적을 가능하게 하며, 카메라와 객체 모션의 모든 조합을 모델링합니다. 본 연구에서는 제안된 방법이 기존 SOTA 방법보다 훨씬 뛰어난 성능을 보인다는 것을 실험적으로 입증하였다.

Heart of Machine 보고서의 "언제 어디서나 모든 픽셀을 추적하고, 폐색을 두려워하지 않는 "모든 것을 추적하는" 비디오 알고리즘이 여기에 있습니다"에 대한 자세한 소개를 참조하세요

이러한 수상 외에도- 올해 ICCV 수상논문에도 주목할만한 우수한 논문들이 많이 있습니다. 다음은 17개 수상 논문의 초기 목록입니다

위 내용은 ICCV 2023에서는 ControlNet, "Split Everything" 등 인기 논문의 우승자를 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!