다중 모드 자기 지도 학습: 목적 함수, 데이터 정렬 및 모델 아키텍처 탐색 - 최신 Edinburgh 리뷰를 예로 사용

다중 모드 학습은 다양한 모드의 정보를 이해하고 분석하는 것을 목표로 하며 최근 몇 년 동안 감독 메커니즘에서 상당한 진전이 이루어졌습니다.

그러나 데이터에 대한 과도한 의존도와 값비싼 수동 주석은 모델 확장을 방해합니다. 동시에, 현실 세계에서 라벨이 지정되지 않은 대규모 데이터의 가용성을 고려할 때 자기 지도 학습은 라벨링 병목 현상을 완화하기 위한 매력적인 전략이 되었습니다.

이 두 가지 방향을 기반으로 SSML(자기 지도 다중 모드 학습)은 원본 다중 모드 데이터에서 감독을 활용하는 방법을 제공합니다.

​

문서 주소: https://arxiv.org/abs/2304.01008​

프로젝트 주소: https://github. com/ys-zong/awesome-self-supervised-multimodal-learning

이 리뷰에서는 세 가지 직교 축을 따라 분류된 SSML의 최첨단 기술에 대한 포괄적인 리뷰를 제공합니다. 목적 함수, 데이터 정렬 및 모델 아키텍처. 이 축은 자기 지도 학습 방법과 다중 모드 데이터의 고유한 특성에 해당합니다.

구체적으로는 학습 목표를 인스턴스 판별, 클러스터링, 마스크 예측 카테고리로 나눕니다. 또한 훈련 중 다중 모드 입력 데이터 쌍 및 정렬 전략에 대해서도 논의합니다. 마지막으로 SSML 방법의 중요한 구성 요소인 인코더, 융합 모듈 및 디코더의 설계를 포함하여 모델 아키텍처를 검토합니다.

다운스트림 멀티모달 애플리케이션 작업을 검토하고, 최첨단 이미지-텍스트 모델 및 멀티모달 비디오 모델의 구체적인 성능을 보고하며, 의료와 같은 다양한 분야에서 SSML 알고리즘의 실제 적용도 검토합니다. , 원격 감지 및 기계 번역. 마지막으로 SSML의 과제와 향후 방향에 대해 논의합니다.

1. 소개

인간 시각, 청각, 촉각, 후각 등 다양한 감각을 통해 세상을 인식합니다. 우리는 각 양식의 보완적인 정보를 활용하여 주변 환경에 대한 포괄적인 이해를 얻습니다. AI 연구는 인간의 행동을 모방하고 비슷한 방식으로 세상을 이해하는 지능형 에이전트를 개발하는 데 중점을 두었습니다. 이를 위해 다중 모드 기계 학습 분야[1], [2]는 다양한 형식의 데이터를 처리하고 통합할 수 있는 모델을 개발하는 것을 목표로 합니다. 최근 몇 년 동안 다중 모드 학습이 상당한 진전을 이루면서 시각 및 언어 학습[3], 비디오 이해[4], [5], 생물 의학[6], 자율 주행[7] 및 기타 분야에 일련의 응용이 가능해졌습니다. 보다 근본적으로 다중 모드 학습은 인공 지능의 오랜 접지 문제를 발전시켜[8] 보다 일반적인 인공 지능에 더 가까워지게 합니다.

그러나 다중 모드 알고리즘은 효과적인 교육을 위해 여전히 값비싼 수동 주석이 필요한 경우가 많아 확장을 방해합니다. 최근에는 자기 지도 학습(SSL)[9], [10]이 쉽게 사용할 수 있는 주석이 달린 데이터에서 감독을 생성하여 이 문제를 완화하기 시작했습니다. 단일 모달 학습의 자기 감독은 상당히 잘 정의되어 있으며 훈련 목표와 인간 주석이 감독에 사용되는지 여부에만 의존합니다. 그러나 다중 모드 학습의 맥락에서는 그 정의가 더 미묘합니다. 다중 모드 학습에서는 하나의 양식이 다른 양식의 감독 신호 역할을 하는 경우가 많습니다. 수동 주석 병목 현상을 제거하여 상향 조정이라는 목표 측면에서 자체 감독 범위를 정의하는 데 있어 핵심 문제는 교차 모달 쌍이 자유롭게 획득되는지 여부입니다.

자기 지도 다중 모드 학습(SSML)은 무료로 사용 가능한 다중 모드 데이터와 자기 지도 목표를 활용하여 다중 모드 모델의 기능을 크게 향상시킵니다. 이 리뷰에서는 SSML 알고리즘과 그 응용을 검토합니다. 목적 함수, 데이터 정렬 및 모델 아키텍처라는 세 가지 직교 축을 따라 다양한 방법을 분해합니다. 이 축은 자기 지도 학습 알고리즘의 특성과 다중 모드 데이터에 필요한 특정 고려 사항에 해당합니다. 그림 1은 제안된 분류법의 개요를 제공합니다. 사전 작업을 기반으로 훈련 목표를 인스턴스 식별, 클러스터링 및 마스크 예측 범주로 나눕니다. 이러한 접근 방식 중 두 개 이상을 결합한 하이브리드 접근 방식도 논의됩니다.

다중 모드 자체 감독의 고유한 문제는 다중 모드 데이터 페어링 문제입니다. 양식 간의 페어링 또는 더 일반적으로는 정렬은 SSML 알고리즘에서 입력(예: 한 양식을 사용하여 다른 양식을 감독하는 경우)으로 활용할 수 있을 뿐만 아니라 출력(예: 짝이 없는 데이터로부터 학습하고 부산물로 페어링 유도)으로도 활용할 수 있습니다. ). 우리는 다중 모달 자체 감독(예: 웹 크롤링 이미지 및 캡션 [11])에서 종종 자유롭게 사용할 수 있다고 가정되는 대략적인 수준에서 정렬의 다양한 역할에 대해 논의합니다. , 제목 단어와 이미지 패치 간의 대응 [12]). 또한 목적 함수와 데이터 정렬 가정의 교차점을 탐색합니다.

또한 현대 SSML 모델 아키텍처의 디자인을 분석합니다. 구체적으로, 모드별 인코더(퓨전 없음 또는 후기 융합 포함)와 초기 융합이 포함된 통합 인코더를 비교하면서 인코더 및 융합 모듈의 설계 공간을 고려합니다. 또한 특정 디코더 설계가 포함된 아키텍처를 조사하고 이러한 설계 선택이 미치는 영향에 대해 논의합니다.

마지막으로 의료, 원격 감지, 기계 번역 등 다양한 실제 분야에서 이러한 알고리즘을 적용하는 방법에 대해 심도 있게 논의하고, SSML의 기술적 과제와 사회적 영향에 대해 심도 있게 논의합니다. 잠재적인 미래 연구 방향을 알아보세요. 우리는 해당 분야의 연구원과 실무자에게 출발점을 제공하기 위해 방법, 데이터 세트 및 구현의 최근 발전을 요약합니다.

기존 리뷰 논문은 지도 다중 모드 학습[1], [2], [13], [14]에만 초점을 맞추거나 단일 모드 자기 지도 학습[9], [10] , [ 15] 또는 시각적 언어 사전 훈련과 같은 SSML의 특정 하위 영역 [16]. 가장 관련성이 높은 리뷰는 [17]이지만 시간 데이터에 더 초점을 맞추고 정렬 및 아키텍처에 대한 다중 모드 자체 감독의 주요 고려 사항을 무시합니다. 이와 대조적으로 우리는 SSML 알고리즘에 대한 포괄적인 최신 개요를 제공하고 알고리즘, 데이터 및 아키텍처를 포괄하는 새로운 분류법을 제공합니다.

2. 배경

다중 모드 학습의 자기 감독

이 용어는 이전 문헌에서 사용되었으므로 먼저 이 설문 조사에서 고려되는 SSML의 범위를 설명합니다. 단일 모달 컨텍스트에서 자체 감독을 정의하는 것은 잘 알려진 인스턴스 판별[20] 또는 마스크된 예측 대상[21]과 같은 다양한 구실 작업의 레이블 없는 특성을 호출하여 더 간단합니다. 대조적으로, 다중 모드 학습의 상황은 양식과 레이블의 역할이 모호해지기 때문에 더 복잡합니다. 예를 들어 지도 이미지 캡션[22]에서는 텍스트가 일반적으로 레이블로 처리되지만 자기 지도 다중 모달 시각 및 언어 표현 학습[11]에서는 텍스트가 입력 양식으로 처리됩니다.

다중 모드 상황에서 자체 감독이라는 용어는 최소한 네 가지 상황을 나타내는 데 사용되었습니다. (1) 자동으로 페어링된 다중 모드 데이터로부터의 라벨 없는 학습(예: 비디오 및 오디오 트랙 영화[23] 또는 이미지 포함) RGBD 카메라의 깊이 데이터 [24]. (2) 하나의 양식에 수동으로 주석을 달았거나 두 개의 양식을 수동으로 쌍으로 묶은 다중 모드 데이터에서 학습하지만 이 주석은 다른 목적으로 생성되었으므로 SSML 사전 학습에 무료로 간주될 수 있습니다. 예를 들어, 독창적인 CLIP[11]에서 사용된 것처럼 웹에서 스크랩한 일치하는 이미지-캡션 쌍은 실제로 쌍이 감독되는 지도 메트릭 학습[25],[26]의 예입니다. 그러나 패턴과 페어링 모두 대규모로 자유롭게 사용할 수 있으므로 자체 감독형으로 설명되는 경우가 많습니다. 이렇게 선별되지 않고 부수적으로 생성된 데이터는 COCO[22] 및 Visual Genome[27]과 같이 특별히 선별된 데이터 세트보다 품질이 낮고 잡음이 많은 경우가 많습니다. (3) 목적에 따라 주석이 달린 고품질 다중 모드 데이터(예: COCO의 수동 캡션 이미지[22])에서 학습하되 Pixel-BERT[28]와 같은 자체 감독 스타일 목표를 사용합니다. (4) 마지막으로 무료 및 수동으로 레이블이 지정된 다중 모드 데이터를 혼합하여 사용하는 "자체 지도" 방법이 있습니다[29], [30]. 본 연구의 목적을 위해 자체 감독 아이디어를 따르고 수동 주석의 병목 현상을 해소하여 규모 확장을 목표로 합니다. 따라서 우리는 무료로 사용할 수 있는 데이터를 훈련할 수 있다는 점에서 처음 두 가지 범주와 네 번째 범주의 방법을 포함합니다. 수동으로 선별된 데이터 세트에만 표시된 방법은 선별된 데이터 세트에 일반적인 "자체 감독" 목표(예: 마스킹된 예측)를 적용하기 때문에 제외합니다.

(a) 지도 다중 모드 학습 및 (b) 자체 지도 다중 모드 학습의 학습 패러다임: 수동 주석이 없는 자체 지도 사전 학습(상단); 맨 아래) ).

3. 목적 함수

이 섹션에서는 인스턴스 판별, 클러스터링 및 마스크 예측의 세 가지 범주인 자기 지도 다중 모드 알고리즘을 훈련하는 데 사용되는 목적 함수를 소개합니다. 마지막으로 하이브리드 타겟에 대해서도 논의했습니다.

3.1 인스턴스 판별

단일 모드 학습에서 인스턴스 판별(ID)은 원본 데이터의 각 인스턴스를 별도의 클래스로 취급하고 모델을 훈련하여 서로 다른 인스턴스를 구별합니다. 다중 모드 학습의 맥락에서 인스턴스 구별은 일반적으로 두 입력 양식의 샘플이 동일한 인스턴스에서 나오는지, 즉 쌍을 이루는지 확인하는 것을 목표로 합니다. 이를 통해 서로 다른 인스턴스 쌍의 표현 공간을 더 멀리 밀면서 패턴 쌍의 표현 공간을 정렬하려고 시도합니다. 인스턴스 인식 목표에는 입력이 샘플링되는 방식에 따라 대조 예측과 일치 예측이라는 두 가지 유형이 있습니다.

3.2 클러스터링

클러스터링 방법은 훈련된 엔드 투 엔드 클러스터링을 적용하면 의미상 두드러진 특징을 기반으로 데이터를 그룹화한다고 가정합니다. 실제로 이러한 방법은 인코딩된 표현의 클러스터 할당을 반복적으로 예측하고 이러한 예측(의사 레이블이라고도 함)을 감독 신호로 사용하여 특징 표현을 업데이트합니다. 다중 모드 클러스터링은 다중 모드 표현을 학습하고 각 양식에 대한 의사 레이블을 사용하여 다른 양식을 감독함으로써 기존 클러스터링을 개선할 수 있는 기회를 제공합니다.

3.3 마스크 예측

마스크 예측 작업은 자동 인코딩(BERT [101]과 유사) 또는 자동 회귀 방법(GPT [102]과 유사)을 사용하여 수행될 수 있습니다.

위 내용은 다중 모드 자기 지도 학습: 목적 함수, 데이터 정렬 및 모델 아키텍처 탐색 - 최신 Edinburgh 리뷰를 예로 사용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!