멀티 태스킹 학습에 최적화 및 적용되는 머신러닝 방법

다중 작업 학습은 여러 작업에 대해 공동으로 최적화된 모델로, 관련 작업이 표현을 공유하고 원래 작업에 대한 더 나은 결정 경계를 학습하여 모델 성능을 향상시킵니다. 단일 신경망은 종종 여러 작업을 동시에 해결하는 데 사용됩니다. 추론 시간을 줄이는 것 외에도 작업 그룹을 공동으로 해결하면 예측 정확도 향상, 데이터 효율성 향상, 훈련 시간 단축 등의 다른 이점이 있습니다.

다중 작업 학습 모델이란 무엇인가요?

다중 작업 학습은 기계 학습 모델이 동시에 여러 작업을 처리할 수 있음을 의미합니다. 모델이 표현을 공유할 수 있기 때문에 데이터 활용 효율성을 높이고 모델 수렴 속도를 높이며 과적합 문제를 줄일 수 있습니다.

다중 작업 학습은 인간이 전이 가능한 기술을 배우는 경우가 많기 때문에 인간의 학습 메커니즘과 더 유사합니다. 예를 들어, 자전거 타는 법을 배운 후에는 오토바이 타는 법을 배우는 것이 더 쉬워집니다. 이를 지식의 귀납적 전달이라고 합니다.

이 지식 전달 메커니즘을 통해 인간은 몇 가지 예만 있거나 예가 전혀 없이 새로운 개념을 학습할 수 있으며, 이를 기계 학습에서는 각각 "소표본 학습" 및 "제로 표본 학습"이라고 합니다.

다중 작업 학습을 위한 최적화 방법

모든 작업이 관련되어 있는 것은 아닙니다. 데이터 세트의 불균형, 작업 간의 차이, 부정적인 지식 전달 모두가 다중 작업 학습에 어려움을 야기합니다. 따라서 작업 최적화는 적절한 아키텍처를 선택하는 것만큼 중요합니다. 다음으로 다중 작업 학습을 위한 최적화 전략에 대해 논의합니다.

1. 손실 구성

이는 다양한 가중치 체계를 사용하여 개별 작업에 대해 정의된 단일 손실 함수의 균형을 유지하여 다중 작업 최적화를 수행하는 가장 직관적인 방법 중 하나입니다. 그런 다음 모델은 여러 작업을 동시에 학습하는 방법으로 총 손실 함수를 최적화합니다.

예를 들어 다양한 손실 가중치 메커니즘을 사용하여 다중 작업 문제를 해결하는 데 도움이 됩니다. 각 손실 함수에 할당된 특정 가중치는 더 많은 데이터가 있는 작업이 최적화를 지배하지 않도록 각 작업의 훈련 세트 크기에 반비례합니다.

2. 하드 매개변수 공유

하드 매개변수 공유에서는 일부 작업별 출력 레이어를 유지하면서 신경망의 숨겨진 레이어를 공유합니다. 관련 작업을 위해 대부분의 레이어를 공유하면 과적합 가능성이 줄어듭니다.

공유 모델이 동시에 학습하는 작업이 많을수록 모든 작업을 포착하는 표현을 찾는 것이 더 필요하며 원래 작업이 과적합될 가능성이 줄어듭니다.

3. 소프트 매개변수 공유

하드 매개변수 공유는 작업이 밀접하게 관련되어 있을 때만 잘 수행됩니다. 따라서 소프트 매개변수 공유의 초점은 작업 간에 공유해야 하는 기능을 학습하는 것입니다. 소프트 매개변수 공유는 각 모델의 매개변수와 전체 훈련 목표 사이의 거리를 정규화하여 서로 다른 작업 간에 유사한 모델 매개변수의 사용을 장려하는 것을 의미합니다. 이 정규화 기술은 구현하기 쉽기 때문에 다중 작업 학습에 자주 사용됩니다.

4. 데이터 샘플링

기계 학습 데이터 세트는 불균형한 데이터 분포의 영향을 받는 경우가 많으며 다중 작업 학습으로 인해 이 문제가 더욱 복잡해집니다. 크기와 데이터 분포가 다양한 다중 작업 훈련 데이터세트가 포함되어 있기 때문입니다. 다중 작업 모델은 사용 가능한 교육 데이터 세트가 더 큰 작업에서 데이터 포인트를 샘플링할 가능성이 높기 때문에 잠재적인 과적합이 발생할 수 있습니다.

이러한 데이터 불균형을 해결하기 위해 다중 작업 최적화 문제에 대한 훈련 데이터 세트를 올바르게 구성하기 위한 다양한 데이터 샘플링 기술이 제안되었습니다.

5. 지능형 작업 스케줄링

대부분의 다중 작업 학습 모델은 각 단계에서 모든 작업을 훈련하거나 훈련을 위해 작업의 하위 집합을 무작위로 샘플링하는 등 매우 간단한 방법으로 한 시대에 훈련할 작업을 결정합니다. 그러나 지능적으로 최적화된 작업 스케줄링은 모든 작업에 대한 전반적인 모델 성능을 크게 향상시킬 수 있습니다.

6. 경사 변조

대부분의 다중 작업 학습 방법은 공동 최적화의 개별 작업이 밀접하게 관련되어 있다고 가정합니다. 그러나 각 작업이 반드시 사용 가능한 모든 작업과 밀접하게 관련되어 있는 것은 아닙니다. 이 경우 관련 없는 작업과 정보를 공유하면 성능이 저하될 수도 있는데, 이러한 현상을 '부정적 전달'이라고 합니다.

최적화 관점에서 부정적인 마이그레이션은 충돌하는 작업 그라데이션으로 나타납니다. 두 작업의 기울기 벡터가 반대 방향을 가리키면 현재 작업의 기울기로 인해 다른 작업의 성능이 저하됩니다. 두 기울기의 평균을 따른다는 것은 두 작업 모두 단일 작업 훈련 설정과 동일한 개선 사항을 볼 수 없음을 의미합니다. 따라서 작업 기울기의 변조는 이 문제에 대한 잠재적인 해결책입니다.

다중 작업 모델이 일련의 관련 작업에 대해 훈련된 경우 이상적으로는 이러한 작업에 대한 기울기가 비슷한 방향을 가리켜야 합니다. 경사 변조의 일반적인 방법은 적대적 훈련을 이용하는 것입니다. 예를 들어, GREAT(Gradient Adversarial Training) 방법은 다중 작업 모델 훈련에 적대적 손실 항을 포함하여 이 조건을 명시적으로 적용합니다. 이는 다양한 소스의 경사가 통계적으로 구별할 수 없는 분포를 갖도록 장려합니다.

7. 지식 증류

지식 증류는 성능을 유지하면서 계산 비용이 많이 드는 모델("교사" 모델)에서 더 작은 모델("학생" 모델)로 지식을 전송하는 기계 학습 패러다임입니다.

다중 작업 학습에서 지식 증류의 가장 일반적인 용도는 여러 개의 개별 단일 작업 "교사" 네트워크에서 다중 작업 "학생" 네트워크로 지식을 추출하는 것입니다. 흥미롭게도 학생 네트워크의 성능은 일부 영역에서 교사 네트워크의 성능을 능가하는 것으로 나타났으며, 이로 인해 지식 증류는 메모리를 절약할 뿐만 아니라 성능을 향상시키는 이상적인 접근 방식이 되었습니다.

다중 작업 학습의 실제 적용

인공 지능의 모든 분야의 연구자들은 다중 작업 학습 프레임워크를 사용하여 자원 최적화 모델을 개발하며, 저장 공간이 제한된 여러 응용 분야에서 사용할 수 있습니다. 아래 인공 지능의 다양한 영역에서 이러한 모델의 최신 응용 프로그램을 살펴보겠습니다.

1. 컴퓨터 비전

컴퓨터 비전은 이미지 분류, 객체 감지, 비디오 검색 등의 문제를 다루는 인공지능의 한 분야입니다. 대부분의 단일 작업 컴퓨터 비전 모델은 계산 비용이 많이 들며 다중 작업 네트워크를 사용하여 여러 작업을 처리하면 저장 공간을 절약하고 실제 문제에 더 쉽게 배포할 수 있습니다. 또한 모델 훈련에 필요한 대량의 레이블이 지정된 데이터 문제를 완화하는 데 도움이 됩니다.

2. 자연어 처리

NLP(자연어 처리)는 자연어 처리 텍스트(모든 언어), 음성 등을 처리하는 인공 지능의 한 분야입니다. 여기에는 문장 번역, 이미지 또는 비디오 자막, 감정 감지 및 기타 여러 애플리케이션이 포함됩니다. 다중 작업 학습은 보조 작업을 통해 주 작업의 성능을 향상시키기 위해 NLP 문제에 널리 사용됩니다.

3. 추천 시스템

개인화된 추천은 사용자가 대규모 온라인 콘텐츠를 처리할 수 있도록 돕는 주요 기술이 되었습니다. 사용자 경험을 향상시키기 위해 추천 모델은 항목에 대한 사용자의 개인적 선호도를 정확하게 예측해야 합니다.

다중 작업 추천 시스템의 예로는 추천 작업과 설명 작업을 긴밀하게 결합하여 설명 가능한 추천의 정확성과 해석성을 향상시키는 CAML 모델이 있습니다.

4. 강화 학습

강화 학습은 지도 학습과 비지도 학습 사이의 딥 러닝 패러다임입니다. 이 학습 체계에서 알고리즘은 시행착오를 통해 결정을 내림으로써 학습하며, 올바른 결정에는 보상이 주어지고 잘못된 결정에는 처벌이 적용됩니다. 일반적으로 로봇 응용 분야에 사용됩니다.

많은 강화 학습 문제가 반드시 텍스트나 픽셀을 사용하는 등 복잡한 인식을 포함하는 것은 아니기 때문에 이러한 문제의 아키텍처 요구 사항은 높지 않습니다. 따라서 강화 학습에 사용되는 많은 심층 네트워크는 단순한 완전 연결형, 컨벌루션형 또는 반복형 아키텍처입니다. 그러나 다중 작업 상황에서는 작업 간 정보를 활용하여 강화 학습을 위한 향상된 아키텍처를 만들 수 있습니다.

CARE 모델과 마찬가지로 하이브리드 인코더는 입력 관찰 내용을 다양한 기술이나 개체에 해당하는 여러 표현으로 인코딩하는 데 사용됩니다. 그런 다음 학습 에이전트는 컨텍스트를 사용하여 주어진 작업에 어떤 표현을 사용할지 결정할 수 있으므로 에이전트가 작업 간에 공유되는 정보를 세밀하게 제어할 수 있어 부정적인 전달 문제를 완화할 수 있습니다.

5. 다중 모드 학습

이름에서 알 수 있듯이 다중 모드 학습에는 오디오, 이미지, 비디오, 자연 텍스트 등과 같은 여러 데이터 형식에 대한 훈련 모델이 포함됩니다. 관련성이 있어야 합니다. 다중 작업 학습은 다중 모드 기능을 단일 모델에 암시적으로 주입하는 데 널리 사용됩니다.

위 내용은 멀티 태스킹 학습에 최적화 및 적용되는 머신러닝 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!