제로샷 학습(ZSL)의 정의와 중요성 분석

제로샷 학습(ZSL)은 사전 훈련된 딥 러닝 모델을 활용하여 샘플을 새로운 카테고리로 일반화하는 기계 학습 패러다임입니다. 핵심 아이디어는 기존 교육 인스턴스의 지식을 테스트 인스턴스의 분류 작업으로 이전하는 것입니다. 특히, 제로샷 학습 기술은 중간 의미 계층과 속성을 학습한 다음 추론 중에 이 지식을 적용하여 새로운 데이터를 예측합니다. 이 방법을 사용하면 기계 학습 모델이 이전에 볼 수 없었던 카테고리를 분류하여 알려지지 않은 카테고리를 식별하는 기능을 얻을 수 있습니다. 제로샷 학습을 통해 모델은 제한된 훈련 데이터에서 더 광범위한 일반화 기능을 얻을 수 있어 현실 세계의 새로운 문제에 대한 적응성을 향상시킬 수 있습니다.

제로샷 학습에서는 훈련 세트와 테스트 세트가 분리되어 있다는 점에 유의해야 합니다.

제로샷 학습은 전이 학습의 하위 분야로, 특징과 레이블 공간이 완전히 다른 상황에서 주로 사용됩니다. 일반적인 동형 전이 학습과 달리 제로샷 학습은 사전 훈련된 모델을 미세 조정하는 것 이상입니다. 샘플 없이 새로운 문제를 처리하는 방법을 학습해야 합니다. 제로샷 학습의 목표는 기존 지식과 경험을 활용하여 이 지식을 새로운 영역으로 전달하여 새로운 문제를 해결하는 것입니다. 이러한 이종 전이 학습은 기존 레이블 정보를 활용하여 예측 및 분류를 수행할 수 있기 때문에 레이블이 없거나 거의 없는 상황을 처리하는 데 매우 유용합니다. 따라서 제로샷 학습은 많은 실제 응용 프로그램에서 중요한 역할을 할 수 있는 큰 잠재력을 가지고 있습니다.

제로샷 학습 데이터 분류

Seen 클래스: 레이블이 지정된 훈련 데이터와 같이 딥 러닝 모델을 훈련하는 데 사용되는 데이터 클래스입니다.

보이지 않는 클래스: 레이블이 지정되지 않은 훈련 데이터와 같이 기존 심층 모델을 일반화해야 하는 데이터 클래스입니다.

보조 정보: 보이지 않는 클래스에 속하는 레이블이 지정된 인스턴스를 사용할 수 없으므로 제로샷 학습 문제를 해결하려면 몇 가지 보조 정보가 필요합니다. 이러한 보조 정보에는 보이지 않는 모든 종류의 정보가 포함되어야 합니다.

제로샷 학습은 보이는 클래스와 보이지 않는 클래스로 구성된 레이블이 지정된 훈련 세트에 의존합니다. 가시적 클래스와 비가시적 클래스 모두 의미 공간이라는 고차원 벡터 공간과 관련되어 있으며, 여기서 가시적 클래스의 지식이 보이지 않는 클래스로 전달될 수 있습니다.

제로샷 학습 단계

제로샷 학습에는 훈련과 추론의 두 단계가 포함됩니다.

훈련: 레이블이 지정된 데이터 샘플 세트에 대한 지식을 획득합니다.

추론: 이전에 습득한 지식을 확장하여 새로운 수업 세트에 제공된 보조 정보를 사용합니다.

제로샷 학습 방법

분류기 기반 방법

기존 분류기 기반 방법은 일반적으로 다중 클래스 제로샷 분류기를 훈련하기 위해 일대다 솔루션을 채택합니다. 즉, 보이지 않는 각 클래스에 대해 이진 일대일 분류기를 훈련합니다. 우리는 분류기 기반 방법을 분류기를 구성하는 방법에 따라 세 가지 범주로 분류합니다.

①대응 방법

대응 방법은 각 클래스에 대한 이진 일대일 분류기와 해당 클래스 프로토타입 간의 대응을 통해 보이지 않는 클래스에 대한 분류기를 구축하는 것을 목표로 합니다. 각 클래스에는 의미 공간에서 해당 프로토타입이 하나만 있습니다. 따라서 이 프로토타입은 이 클래스의 "표현"으로 간주될 수 있습니다. 동시에, 특징 공간에는 각 카테고리에 해당하는 이진 일대일 분류자가 있으며, 이는 카테고리의 "표현"으로도 간주될 수 있습니다. 대응 방법은 이 두 "표현" 간의 대응 기능을 학습하는 것을 목표로 합니다.

②관계 방법

방법은 보이지 않는 클래스의 클래스 간 및 클래스 내 관계를 기반으로 분류기 또는 보이지 않는 클래스를 구성하는 것을 목표로 합니다. 특징 공간에서는 사용 가능한 데이터를 사용하여 표시된 클래스의 이진 일대일 분류자를 학습할 수 있습니다. 동시에 해당 프로토타입 간의 관계를 계산하여 가시 클래스와 비가시 클래스 간의 관계를 얻을 수 있습니다.

③구성 방법

구성 방법은 클래스를 구성하는 기본 요소에 대한 분류자를 결합하여 보이지 않는 클래스에 대한 분류자를 구성한다는 개념을 설명합니다.

구성 방법에는 클래스를 구성하는 "기본 요소"의 목록이 있다고 간주됩니다. 보이는 클래스와 보이지 않는 클래스의 각 데이터 포인트는 이러한 기본 요소의 조합입니다. 의미 공간에 반영하면 각 차원은 기본 요소를 나타내고, 각 클래스 프로토타입은 해당 클래스의 이러한 기본 요소의 조합을 나타내는 것으로 간주됩니다.

클래스 프로토타입의 각 차원은 클래스에 해당 요소가 있는지 여부를 나타내는 1 또는 0을 사용합니다. 따라서 이러한 유형의 방법은 주로 의미 공간에 적합합니다.

인스턴스 기반 방법

인스턴스 기반 방법은 먼저 보이지 않는 클래스의 레이블이 지정된 인스턴스를 얻은 다음 이러한 인스턴스를 사용하여 제로샷 분류기를 훈련하는 것을 목표로 합니다. 이러한 인스턴스의 출처에 따르면 기존 인스턴스 기반 방법은 세 가지 하위 범주로 나눌 수 있습니다.

1투영 방법

투영 방법의 아이디어는 특징 공간 인스턴스와 의미 공간 프로토타입을 공유 공간으로 투영하는 것입니다. 보이지 않는 클래스의 표시된 인스턴스를 얻기 위한 공간입니다.

표시되는 클래스에 속하는 기능 공간에는 레이블이 지정된 훈련 인스턴스가 있습니다. 동시에 의미 공간에는 보이는 클래스와 보이지 않는 클래스의 프로토타입이 있습니다. 기능 공간과 의미 공간은 실제 공간이고, 인스턴스와 프로토타입은 그 안의 벡터입니다. 이러한 관점에서 프로토타입은 레이블이 지정된 인스턴스로 볼 수도 있습니다. 따라서 우리는 특징 공간과 의미 공간에서 인스턴스에 라벨을 붙입니다.

②인스턴스 차용 방법

이 방법은 훈련 인스턴스에서 차용하여 보이지 않는 클래스에 대한 레이블이 지정된 인스턴스를 가져오는 작업을 처리합니다. 인스턴스 차용 방법은 클래스 간의 유사성을 기반으로 합니다. 이러한 유사한 클래스에 대한 지식을 통해 보이지 않는 클래스에 속하는 인스턴스를 식별할 수 있습니다.

3합성 방법

합성 방법은 다양한 전략을 사용하여 의사 인스턴스를 합성하여 보이지 않는 클래스의 태그된 인스턴스를 얻는 것입니다. 의사 인스턴스를 합성하기 위해서는 각 클래스의 인스턴스가 특정 분포를 따른다고 가정합니다. 먼저, 보이지 않는 클래스의 분포 매개변수를 추정해야 합니다. 그런 다음 보이지 않는 클래스의 인스턴스를 합성합니다.

제로샷 학습의 한계

다른 개념과 마찬가지로 제로샷 학습에도 한계가 있습니다. 제로샷 학습을 실제로 적용할 때 가장 일반적으로 발생하는 몇 가지 문제는 다음과 같습니다.

1. 편향

훈련 단계 동안 모델은 표시되는 클래스의 데이터와 레이블에만 액세스할 수 있습니다. 이로 인해 모델은 테스트 중에 표시되는 클래스로 표시되지 않는 클래스의 데이터 샘플을 예측하게 됩니다. 테스트 중에 보이는 클래스와 보이지 않는 클래스 모두의 샘플에서 모델을 평가하면 편향 문제가 더욱 두드러집니다.

2. 도메인 이전

제로샷 학습 모델은 주로 이러한 데이터가 점진적으로 사용 가능해짐에 따라 사전 훈련된 모델을 새로운 클래스로 확장하기 위해 개발되었습니다. 따라서 제로샷 학습에서는 도메인 이전 문제가 흔히 발생합니다. 훈련 세트와 테스트 세트의 데이터 통계적 분포가 크게 다를 때 도메인 이동이 발생합니다.

3. 중심 문제

중심 문제는 최근접 이웃 탐색과 관련된 차원의 저주와 관련이 있습니다. 제로샷 학습에서 핵심 문제는 두 가지 이유로 발생합니다.

입력 특성과 의미론적 특성 모두 고차원 공간에 존재합니다. 이러한 고차원 벡터를 저차원 공간에 투영하면 분산이 줄어들어 매핑된 점이 중심으로 모여들게 됩니다.

제로샷 학습에 널리 사용되는 능형 회귀는 중요한 문제를 제기합니다. 이는 편향된 예측으로 이어질 수 있습니다. 즉, 쿼리가 무엇이든 대부분 소수의 클래스만 예측됩니다.

4. 정보 손실

보이는 클래스에 대해 훈련할 때 모델은 이러한 보이는 클래스를 구별하는 중요한 속성만 학습합니다. 눈에 보이는 클래스에 일부 잠재적 정보가 존재할 수 있지만 의사결정 과정에 크게 기여하지 않으면 학습되지 않습니다. 그러나 이 정보는 보이지 않는 클래스의 테스트 단계에서 중요합니다. 이로 인해 정보가 손실됩니다.

위 내용은 제로샷 학습(ZSL)의 정의와 중요성 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!