ICCV'23 논문상 'Fighting of Gods'! Meta Divide Everything과 ControlNet이 공동 선정되었는데, 심사위원들을 놀라게 한 기사가 또 있었습니다.

프랑스 파리에서 열린 최고의 컴퓨터 비전 컨퍼런스 ICCV 2023이 막 끝났습니다!

올해 최우수논문상은 그야말로 '신들의 싸움'입니다.

예를 들어 최우수 논문상을 수상한 두 논문에는 Vincentian AI 분야를 전복시킨 작품인 ControlNet이 포함되어 있습니다.

ControlNet은 오픈 소스 이후 GitHub에서 24,000개의 별을 받았습니다. 확산 모델이든 컴퓨터 비전 전 분야이든 이 논문의 수상은 당연합니다

우수 논문상의 명예상은 또 다른 유명한 논문인 Meta의 “Split Everything”에 수여되었습니다. 모델 샘.

Segment Everything은 출시 이후 FastSAM, LISA, SegGPT 등 많은 후발 기업을 포함해 다양한 이미지 분할 AI 모델의 '벤치마크'가 되었으며 모두 효율성 테스트를 위한 참조 벤치마크로 사용됩니다.

이번 ICCV 2023의 경쟁은 얼마나 치열할까요?

ICCV 2023에서는 총 8068편의 논문을 제출했는데 4분의 1 정도, 즉 2160편만 접수되었습니다

논문의 거의 10%가 중국 출신이었습니다. 대학 외에도 다음과 같은 산업 기관도 많이 있습니다. SenseTime 과학기술 및 공동연구실의 논문 49편이 ICCV 2023에 선정되었고, 메그비(Megvii)에서 14편의 논문이 선정되었습니다.

어떤 논문이 ICCV 2023 어워드를 수상했는지 살펴보겠습니다

ControlNet이 ICCV에서 최우수 논문을 수상했습니다

올해 최우수 논문상(Marr Award)을 수상한 두 논문을 먼저 살펴보겠습니다

ICCV 최고의 논문 Marr Prize(Marr Prize)라고도 알려져 있으며, 2년마다 선정하며 컴퓨터 비전 분야에서 가장 높은 영예 중 하나로 알려져 있습니다.

이 상은 컴퓨터 비전 분야의 선구자이자 계산 신경과학의 창시자인 David Marr의 이름을 따서 명명되었습니다.

첫 번째 최우수 논문상 수상자는 Stanford의 "Adding Conditional Control for Text-to-Image Diffusion Models"입니다.

이 논문에서는 사전 훈련된 확산 모델에 추가 입력을 추가하는 것만으로 생성의 세부 사항을 제어할 수 있는

ControlNet이라는 모델을 제안합니다.

여기서 입력하는 내용은 스케치, 에지 이미지, 의미론적 분할 이미지, 인체 핵심 특징, 허프 변환 감지 직선, 깊이 맵, 인체 뼈 등 다양한 유형이 될 수 있습니다. 소위 "AI가 손을 그릴 수 있습니다." ", 핵심 기술은 이 기사에서 나옵니다.

그 아이디어와 아키텍처는 다음과 같습니다:

제어 네트워크는 먼저 확산 모델의 가중치를 복사하여 "훈련 가능한 복사본"을 얻습니다.

반면, 원래 확산 모델은 수십억 개의 가중치를 사전 훈련했습니다. Images 이므로 매개변수가 "잠겨 있습니다". 그리고 이 "훈련 가능한 사본"은 조건부 제어를 배우기 위해 특정 작업의 작은 데이터 세트에 대해서만 훈련하면 됩니다.

데이터 양이 매우 적더라도(이미지 50,000개 이하) 훈련 후 모델이 생성하는 조건부 제어는 매우 좋습니다.

1×1 컨볼루션 레이어를 통해 연결된 "잠긴 모델"과 "학습 가능한 복사본"은 "0 컨볼루셔널 레이어"라는 구조를 형성합니다. 이 0 컨볼루셔널 레이어의 가중치와 편향은 0으로 초기화되므로 훈련 과정에서 확산 모델을 미세 조정하는 속도에 가까운 매우 빠른 속도를 얻을 수 있으며 개인 장치에서도 훈련할 수 있습니다

예를 들어 200,000개의 이미지 데이터를 사용하여 NVIDIA RTX 3090TI를 교육하는 경우 일주일도 채 걸리지 않습니다.

Zhang Lvmin은 ControlNet 논문의 첫 번째 저자이며 현재 스탠포드 대학에서 박사 과정을 밟고 있습니다. ControlNet 외에도 그는 Style2Paints 및 Fooocus

논문 주소: https://arxiv.org/abs/2302.05543

두 번째 논문 "Passive Ultra-Wideband Single-Photon lmaging", 토론토 대학.

이 논문은 선정위원회에서 '주제에 관한 가장 놀라운 논문'이라고 평가받았고, 심사위원 중 한 명이 '그가 그런 일을 시도한다는 것은 거의 불가능했다'고 말할 정도였습니다.

논문의 개요는 다음과 같습니다.

이 백서는 수동적으로(많은 양의 빛 신호를 적극적으로 전송하지 않고) 이미징을 요구하면서 극단적인 시간 규모(초에서 피코초까지)에서 동적 장면을 동시에 이미지화하는 방법과 매우 낮은 조명 조건에서 수행되며 광원의 타이밍 신호에 의존하지 않습니다.

단일 광자 카메라에 대한 기존 광학 흐름 추정 기술은 이 범위에서 실패하므로 본 논문에서는 확률론적 미적분학의 아이디어를 활용하여 광자 감지 시간을 단조롭게 증가시키는 것에서 시작하는 광학 흐름 감지 이론을 개발합니다. 포크 스트림의 픽셀을 재구성했습니다.

이 이론을 기반으로 이 논문은 주로 세 가지 작업을 수행합니다.
(1) 낮은 광학 흐름 조건에서 수동 자유 실행 단일 광자 파장 검출기 카메라가 전체 DC에서 31GHz에 이르는 달성 가능한 주파수 대역폭을 가짐을 보여줍니다.
(2) 통계적으로 유의미한 지원을 통해 주파수에 대한 타임스탬프 데이터를 검색하기 위한 새로운 푸리에 영역 광학 흐름 재구성 알고리즘을 도출합니다.
(3) 매우 낮은 광자 수 또는 비 무시할 수 있는 데드타임.

저자는 몇 가지 전례 없는 기능을 포함하여 이 비동기 이미징 방법의 잠재력을 실험적으로 입증했습니다.
(1) 동기화 없이 서로 다른 속도로 이미지 처리(예: 전구, 프로젝터, 다중 펄스 레이저) 실행되는 빛으로 조명되는 장면 이미징
(2) 수동적 비시선 비디오 수집
(3) 30Hz의 주파수로 재생할 수 있는 초광대역 비디오를 녹화하여 일상적인 움직임을 보여줍니다. 빛이 어떻게 이동하는지 보여주기 위해 10억분의 1초 단위로 재생됩니다.

논문의 첫 번째 저자인 Mian Wei는 토론토 대학교의 박사 과정 학생입니다. 그의 연구 방향은 컴퓨터 사진입니다. 그의 현재 연구 관심 분야는 능동 조명 이미징 기술을 기반으로 한 컴퓨터 비전 알고리즘입니다.

논문을 보려면 다음 링크를 클릭하세요: https://openaccess.thecvf.com/content/ICCV2023/papers/Wei_Passive_Ultra-Wideband_Single-Photon_Imaging_ICCV_2023_paper.pdf

"Dividing Everything"이 우수상을 받았습니다

at 이번 컨퍼런스에서는 많은 기대를 모았던 ControNet과 더불어 Meta의 "Split Everything" 모델도 Best Paper Award에 대한 명예로운 언급을 받아 당시 매우 기대되는 주제가 되었습니다. 이 논문은 현재 가장 큰 이미지 중 하나를 제안했을 뿐만 아니라 분할 데이터 세트에는 1,100만 개의 이미지에 10억 개가 넘는 마스크가 있으며, SAM 모델은 이러한 목적으로 훈련되어 보이지 않는 이미지를 빠르게 분할할 수 있습니다.

이전의 단편화된 이미지 분할 모델과 비교하여 SAM은 이 모델 시리즈의 기능을 "통합"했으며 다양한 작업에서 좋은 성능을 보여주었다고 할 수 있습니다.

이 오픈 소스 모델은 현재 GitHub에 38,800개의 별을 보유하고 있으며 이는 의미론적 분할 분야의 "벤치마크"라고 할 수 있습니다.

논문 주소: https://arxiv.org/abs/2304.02643

프로젝트 홈페이지: https://segment-anything.com/

학생 작품에서 Google의 '모든 것을 추적' 모델이 눈에 띕니다
기사 제목처럼 이 모델은 이미지 속 개체를 동시에 추적할 수 있습니다. 모든 위치에서 모든 (다중)

개체를 픽셀 수준으로 추적합니다.

이 프로젝트의 첫 번째 저자는 현재 UCB에서 박사후 연구를 하고 있는 코넬대학교 중국 박사 Qianqian Wang입니다.

논문 주소: https://arxiv.org/abs/2306.05422

프로젝트 홈페이지: https://omnimotion.github.io/

개회식에서는 PAMITC 위원회 회원들이 기부한 특별상도 발표되었으며, 두 개의 컴퓨터 비전 현장 컨퍼런스인 CVPR 및 WACV에 대한 상도 기부되었습니다.

다음 4개의 상이 포함되었습니다.

• hai Mkhize 상: 10년 전 컴퓨터 비전 연구에 큰 영향을 미친 ICCV 논문
• Everingham Award: 컴퓨터 비전 분야의 발전
• 뛰어난 연구원: 컴퓨터 비전 발전에 크게 기여한 연구원
• Rosenfeld 평생 공로상: 오랜 경력 동안 컴퓨터 비전 분야에 지대한 공헌을 한 연구자

헬름홀츠상을 수상한 과학자는 Meta AI 회원인 중국 과학자 Heng Wang과 Google의 Cordelia Schmid입니다

2013년에 행동 인식에 관해 발표한 논문으로 상을 받았습니다.

당시 두 사람 모두 프랑스 국립 컴퓨팅 자동화 연구소(프랑스어 약칭: INRIA) 산하 Lear 연구소에서 일하고 있었는데, 당시 연구소의 리더는 슈미트였습니다.

논문을 보려면 다음 링크를 클릭하세요: https://ieeeexplore.ieee.org/document/6751553

에버링엄 상은 두 팀에게 수여되었습니다

첫 번째 그룹의 우승자는 Samer입니다. Google Agarwal, Keir Mierle 및 팀

두 명의 우승자는 각각 워싱턴 대학교와 토론토 대학교를 졸업했습니다. 그들의 업적은 널리 사용되는 오픈 소스 C++ 라이브러리 Ceres Solver

프로젝트를 개발한 것입니다. 컴퓨터 비전 분야 홈페이지 링크: http://ceres-solver.org/

또 다른 수상 결과는 COCO 데이터 세트입니다. COCO 데이터 세트에는 수많은 이미지와 주석이 포함되어 있으며 풍부한 콘텐츠와 작업이 있습니다. 컴퓨터 비전 모델 세트를 테스트하는 데 중요한 데이터입니다.

이 데이터 세트는 Microsoft에서 제안한 것입니다. 해당 논문의 첫 번째 저자는 중국 과학자 Tsung-Yi Lin입니다. 그는 코넬 대학교에서 박사 학위를 취득했으며 현재 NVIDIA Labs에서 연구원으로 일하고 있습니다.

논문 주소: https://arxiv.org/abs/1405.0312
프로젝트 홈페이지: https://cocodataset.org/

우수 연구원 영예의 우승자는 German Max입니다. 플랑크 교수는 연구소의 마이클 블랙(Michael Black) 교수와 존스홉킨스 대학의 라마 첼라파(Rama Chellappa) 교수입니다.

MIT의 Ted Adelson 교수가 평생공로상을 수상했습니다

귀하의 논문이 ICCV 2023에 승인되었나요? 올해의 수상작 선정에 대해 어떻게 생각하시나요?

위 내용은 ICCV'23 논문상 'Fighting of Gods'! Meta Divide Everything과 ControlNet이 공동 선정되었는데, 심사위원들을 놀라게 한 기사가 또 있었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!