USB: 시각, 언어 및 오디오 분류 작업을 통합하는 최초의 준지도 분류 학습 벤치마크

현재 준지도 학습의 개발이 본격화되고 있습니다. 그러나 기존 준지도 학습 벤치마크는 자연어 처리, 오디오 처리 등 분류 작업에 대한 일관되고 다양한 평가를 제외하고 대부분 컴퓨터 비전 분류 작업으로 제한됩니다. 또한 대부분의 준지도 논문은 대규모 기관에서 출판되며, 컴퓨팅 자원의 한계로 인해 학술 연구실이 해당 분야 발전에 참여하기 어려운 경우가 많습니다.

이를 위해 Microsoft Research Asia의 연구원들은 Westlake University, Tokyo Institute of Technology, Carnegie Mellon University, Max Planck Institute 및 기타 기관의 연구원들과 함께 Unified SSL Benchmark(USB)를 제안했습니다. 시각적, 언어 및 오디오 분류 작업을 통합하는 지도 분류 학습 벤치마크입니다.

본 논문에서는 보다 다양한 응용 분야를 소개할 뿐만 아니라 최초로 시각적 사전 훈련 모델을 사용하여 준지도 알고리즘의 검증 시간을 대폭 단축하여 연구자에게 더욱 친숙한 준지도 연구를 제공합니다. 소규모 연구 그룹. 인공지능 분야 최고 국제학술대회인 NeurIPS 2022에 관련 논문이 게재되었습니다.

문서 링크: https://arxiv.org/pdf/2208.07204.pdf

코드 링크: https://github.com/microsoft/Semi-supervised-learning ​

지도 학습은 레이블이 지정된 데이터에 적합한 모델을 구축합니다. 지도 학습을 사용하여 대량의 고품질 레이블이 지정된 데이터를 훈련하면 신경망 모델이 경쟁력 있는 결과를 생성합니다.

예를 들어 Paperswithcode 웹사이트의 통계에 따르면 ImageNet의 백만 수준 데이터 세트에서 기존 지도 학습 방법은 88% 이상의 정확도를 달성할 수 있습니다. 그러나 대량의 레이블이 지정된 데이터를 얻는 데는 시간이 많이 걸리고 힘든 경우가 많습니다.

반지도 학습(SSL)은 레이블이 있는 데이터에 대한 의존성을 완화하기 위해 레이블이 없는 대량의 데이터를 사용하여 레이블이 있는 데이터가 적을 때 모델의 일반화를 개선하는 데 전념합니다. 준지도 학습(Semi-supervised learning) 역시 머신러닝의 중요한 주제 중 하나입니다. 딥러닝 이전에 이 분야의 연구자들은 준지도 지원 벡터 머신, 엔트로피 정규화 및 협업 훈련과 같은 고전적인 알고리즘을 제안했습니다.

심층 준지도 학습

딥 러닝의 등장과 함께 심층 준지도 학습 알고리즘도 큰 발전을 이루었습니다. 동시에 Microsoft, Google, Meta를 포함한 기술 회사들도 실제 시나리오에서 준지도 학습의 엄청난 잠재력을 인식했습니다.

예를 들어 Google은 검색 성능을 향상시키기 위해 준지도 알고리즘인 시끄러운 학생 훈련을 사용합니다[1]. 가장 대표적인 준지도 알고리즘은 현재 레이블이 지정된 데이터에 대한 훈련에 교차 엔트로피 손실을 사용하고 레이블이 지정되지 않은 데이터에 대한 일관성 정규화를 사용하여 입력 섭동에 대한 불변 예측을 장려합니다.

예를 들어, NeurIPS 2020에서 Google이 제안한 FixMatch[2] 알고리즘은 증강 앵커링 및 고정 임계값 기술을 사용하여 모델의 일반화를 다양한 강도의 향상된 데이터로 향상하고 노이즈 의사 라벨의 영향을 줄입니다. 훈련 중에 FixMatch는 사용자가 제공/사전 정의한 임계값 아래에서 레이블이 지정되지 않은 데이터를 필터링합니다. NeurIPS 2021에서 Microsoft Research Asia와 Tokyo Institute of Technology가 공동으로 제안한

FlexMatch[3]는 다양한 범주 간의 다양한 학습 어려움을 고려하므로 수업에서 서로 다른 임계값을 채택해야 한다고 제안합니다.

특히, 배우기 쉬운 카테고리의 경우 모델은 학습하기 어려운 카테고리에 대한 시끄러운 의사 라벨의 영향을 줄이기 위해 높은 임계값을 설정해야 하며, 모델은 피팅을 장려하기 위해 낮은 임계값을 설정해야 합니다. 이 카테고리의. 각 클래스의 학습 난이도 평가는 해당 클래스에 속하고 고정된 값을 초과하는 레이블이 지정되지 않은 데이터 샘플의 수에 따라 달라집니다.

동시에 Microsoft Research Asia의 연구원들은 이 분야에서 심층적인 방법, 일반적으로 사용되는 데이터 세트 및 벤치마크 결과를 통합하는 통합 Pytorch 기반 준지도 방법 코드 라이브러리 TorchSSL[4]을 제안하기 위해 협력했습니다. 지원하다.

그림 1: FlexMatch 알고리즘 흐름

현재 반지도 학습 코드 라이브러리의 문제점과 과제

반지도 학습의 개발이 본격화되고 있지만 연구자들은 현재 대부분의 코드가 준지도 방향의 논문 컴퓨터 비전(CV) 분류 작업에만 초점을 맞춰 연구자들은 CV 작업에 효과적인 이러한 알고리즘이 자연어 처리(NLP) 및 오디오와 같은 다른 분야의 다른 분야에서도 여전히 효과적인지 여부를 알 수 없습니다. 처리(오디오).

또한 대부분의 준지도 논문은 대규모 기관에서 출판되며, 컴퓨팅 자원의 한계로 인해 학술 연구실이 이 분야의 발전을 촉진하는 데 참여하기 어려운 경우가 많습니다. 일반적으로 준지도 학습 벤치마크에는 현재 다음과 같은 두 가지 문제가 있습니다.

(1) 다양성이 부족합니다. 기존 준지도 학습 벤치마크의 대부분은 CV 분류 작업(예: CIFAR-10/100, SVHN, STL-10 및 ImageNet 분류)으로 제한되며 NLP, 오디오 등과 같은 분류 작업에 대한 일관되고 다양한 평가를 제외합니다. , NLP에서는 오디오에 레이블이 지정된 데이터가 충분하지 않은 것도 일반적인 문제입니다.

(2) 시간이 많이 걸리고 학계에 비우호적입니다. TorchSSL과 같은 기존 반지도 학습 벤치마크는 심층 신경망 모델을 처음부터 훈련해야 하는 경우가 많기 때문에 시간이 많이 걸리고 환경 친화적이지 않은 경우가 많습니다. 특히 TorchSSL을 사용하여 FixMatch[1]를 평가하려면 약 300일의 GPU일이 필요합니다. 이러한 높은 교육 비용으로 인해 많은 연구실(특히 학계 또는 소규모 연구 그룹)에서 SSL 관련 연구를 감당할 수 없게 되어 SSL의 발전을 방해하게 됩니다.

USB: 다양한 작업을 수행하고 연구자에게 더욱 친숙한 새로운 벤치마크 라이브러리

위의 문제를 해결하기 위해 Microsoft Research Asia의 연구원들은 Westlake University, Tokyo Institute of Technology, Carnegie Mellon University, Max- Planck Institute 및 기타 기관의 연구원들은 시각, 언어 및 오디오 분류 작업을 통합하는 최초의 준지도 분류 학습 벤치마크인 통합 SSL 벤치마크(USB)를 제안했습니다.

소수의 비전 작업에만 초점을 맞춘 이전 준지도 학습 벤치마크(예: TorchSSL)와 비교하여, 이 벤치마크는 보다 다양한 응용 분야를 소개할 뿐만 아니라 비전 사전 훈련된 모델(사전 훈련된 비전)을 사용합니다. Transformer)를 통해 처음으로 시각적 작업 수를 크게 줄였습니다. 반지도 알고리즘의 검증 시간이 단축되어(7000 GPU 시간에서 900 GPU 시간으로) 반지도 연구, 특히 소규모 연구에 더욱 친숙해졌습니다. 여러 떼.

국제 인공지능 분야 최고 학술회의인 NeurIPS 2022에 관련 논문이 접수되었습니다. (자세한 내용은 "원문 읽기"를 클릭하세요.)

USB가 제공하는 솔루션

그렇다면 USB는 어떻게 현재 준지도 벤치마크의 문제를 한 번에 해결할 수 있을까요? 연구원들은 주로 다음과 같은 개선을 이루었습니다.

(1) 작업 다양성을 높이기 위해 USB는 5개의 CV 데이터 세트, 5개의 NLP 데이터 세트 및 5개의 오디오 데이터 세트를 도입하고 다양하고 도전적인 벤치마크를 제공하여 여러 항목에 대한 일관된 평가를 가능하게 했습니다. 다양한 도메인의 작업. 표 1은 USB와 TorchSSL 간의 작업 및 교육 시간을 자세히 비교한 것입니다.

표 1: USB와 TorchSSL 프레임워크 간의 작업 및 교육 시간 비교

(2) 교육 효율성을 높이기 위해 연구원들은 사전 교육된 비전 Transformer를 SSL 대신 SSL에 도입했습니다. ResNet 교육을 처음부터 시작합니다. 특히 연구원들은 사전 훈련된 모델을 사용하면 성능에 영향을 주지 않고 훈련 반복 횟수를 크게 줄일 수 있다는 사실을 발견했습니다(예: CV 작업에 대한 훈련 반복 횟수를 100만 단계에서 200,000단계로 줄임).

(3) 연구원들에게 더욱 친숙한 환경을 제공하기 위해 연구원들은 14개의 SSL 알고리즘을 오픈 소스로 구현했으며 연구원들이 USB 보고서에서 결과를 쉽게 재현할 수 있도록 모듈형 코드 라이브러리 및 관련 구성 파일을 오픈 소스로 제공했습니다. 빠르게 시작할 수 있도록 USB는 자세한 문서와 튜토리얼도 제공합니다. 또한 USB는 사용자가 SSL 알고리즘을 직접 호출할 수 있도록 pip 패키지도 제공합니다. 연구원들은 앞으로도 새로운 알고리즘(예: 불균형 준지도 알고리즘 등)과 더욱 까다로운 데이터 세트를 USB에 계속 추가할 것을 약속합니다. 표 2는 USB에서 지원되는 알고리즘과 모듈을 보여줍니다.

표 2: USB에서 지원되는 알고리즘 및 모듈

반 지도 학습은 레이블이 지정되지 않은 대량의 데이터를 활용하여 보다 정확하고 강력한 모델과 애플리케이션 가치를 교육함으로써 중요한 미래 연구를 수행합니다. Microsoft Research Asia 연구원들은 이 USB 작업을 사용하여 학계와 업계가 준지도 학습 분야에서 더 큰 발전을 이룰 수 있기를 기대하고 있습니다.

위 내용은 USB: 시각, 언어 및 오디오 분류 작업을 통합하는 최초의 준지도 분류 학습 벤치마크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!