퓨샷 학습 검토: 기술, 알고리즘 및 모델

머신러닝은 최근 큰 진전을 이루었지만 여전히 큰 과제가 있습니다. 바로 모델을 훈련하기 위해 라벨이 지정된 대량의 데이터가 필요하다는 것입니다.

때때로 이 데이터는 현실 세계에서 사용할 수 없습니다. 의료 서비스를 예로 들면, 새로운 질병을 확인하기 위한 엑스레이 스캔이 충분하지 않을 수 있습니다. 하지만 퓨샷 학습을 통해 모델은 몇 가지 예시만으로 지식을 학습할 수 있습니다.

그래서 퓨샷 학습(FSL)은 머신러닝의 하위 분야로, 적은 수의 라벨링만으로 새로운 작업을 학습하는 문제를 해결합니다. 예. FSL의 요점은 기계 학습 모델이 약간의 데이터로 새로운 것을 학습할 수 있도록 하는 것입니다. 이는 레이블이 지정된 여러 데이터를 수집하는 데 비용이 너무 많이 들거나 시간이 오래 걸리거나 비실용적인 상황에서 유용합니다.

Few-shot 학습 방법

샘플/쿼리 세트 지원: 소수의 이미지를 사용하여 쿼리 세트를 분류합니다.

Few-Shot 학습을 이해하는 데는 크게 메타 학습, 데이터 수준, 매개 변수 수준의 세 가지 방법이 있습니다.

• 메타 학습: 새로운 작업을 효율적으로 학습하는 방법을 학습하기 위한 모델 훈련이 포함됩니다.
• 데이터 수준: 데이터 수준 방법은 모델의 일반화 성능을 향상시키기 위해 사용 가능한 데이터를 늘리는 데 중점을 둡니다. -level: 매개변수 수준 방법은 새로운 작업에 더 잘 일반화되는 더욱 강력한 특징 표현을 학습하는 것을 목표로 합니다.
• 메타 학습

메타 학습(학습 방법 학습). 이 방법은 모델을 훈련하여 새로운 작업을 효율적으로 학습하는 방법을 학습합니다. 이 모델은 다양한 작업 간의 공통점을 식별하고 이 지식을 사용하여 몇 가지 예를 통해 새로운 것을 빠르게 배우는 것에 관한 것입니다.

메타 학습 알고리즘은 일반적으로 일련의 관련 작업에 대해 모델을 훈련하고 사용 가능한 데이터에서 작업 독립적이고 작업 특정 기능을 추출하는 방법을 학습합니다. 작업 독립적인 기능은 데이터에 대한 일반적인 지식을 캡처하는 반면, 작업별 기능은 현재 작업의 세부 정보를 캡처합니다. 훈련 중에 알고리즘은 각 새 작업에 대해 몇 가지 레이블이 지정된 예만 사용하여 모델 매개변수를 업데이트하여 새 작업에 적응하는 방법을 학습합니다. 이를 통해 모델은 몇 가지 예를 사용하여 새로운 작업으로 일반화할 수 있습니다.

데이터 수준 방법

데이터 수준 방법은 기존 데이터 확장에 중점을 두므로 모델이 데이터의 기본 구조를 더 잘 이해하는 데 도움이 되어 모델의 일반화 성능이 향상됩니다.

주요 아이디어는 기존 예제에 다양한 변환을 적용하여 새로운 예제를 만드는 것입니다. 이는 모델이 데이터의 기본 구조를 더 잘 이해하는 데 도움이 될 수 있습니다.

데이터 수준 방법에는 두 가지 유형이 있습니다.

데이터 증대: 데이터 증대에는 기존 데이터에 다양한 변환을 적용하여 새로운 예제를 생성하는 작업이 포함됩니다.

• 데이터 생성: 데이터 생성에는 생성적 적대 신경망(GAN)을 사용하는 작업이 포함됩니다. 기스로부터.

데이터 수준 방법:

매개변수 수준 방법은 새로운 작업에 더 잘 일반화할 수 있는 보다 강력한 기능 표현을 학습하는 것을 목표로 합니다.

두 가지 매개변수 수준 방법이 있습니다.

특성 추출: 특성 추출에는 새로운 작업에 사용할 수 있는 데이터에서 일련의 특성을 학습하는 작업이 포함됩니다.

• 미세 조정: 사전 훈련된 특성을 조정하는 작업이 포함됩니다. 최적의 매개변수를 학습하여 새로운 작업으로 모델링합니다.
• 예를 들어, 이미지에서 다양한 모양과 색상을 인식할 수 있는 사전 훈련된 모델이 있다고 가정해 보겠습니다. 새로운 데이터 세트에 대해 모델을 미세 조정함으로써 몇 가지 예만으로 새로운 범주를 인식하는 방법을 빠르게 학습할 수 있습니다.

메타 학습 알고리즘

메타 학습은 FSL에 대한 인기 있는 접근 방식으로, 새로운 작업을 효율적으로 학습하는 방법을 학습할 수 있도록 다양한 관련 작업에 대한 모델 훈련을 포함합니다. 알고리즘은 사용 가능한 데이터에서 작업 독립적이고 작업별 기능을 추출하는 방법을 학습하여 새로운 작업에 빠르게 적응합니다.

메타 학습 알고리즘은 크게 메트릭 기반과 그래디언트 기반의 두 가지 유형으로 나눌 수 있습니다.

메트릭 기반 메타 학습

메트릭 기반 메타 학습 알고리즘은 각각의 새로운 작업에 대해 다양한 예를 비교하는 특별한 방법을 학습합니다. 이는 유사한 예가 서로 가깝고 서로 다른 예가 멀리 떨어져 있는 특수 기능 공간에 입력 예를 매핑함으로써 이를 달성합니다. 모델은 이 거리 측정항목을 사용하여 새로운 예를 올바른 카테고리로 분류할 수 있습니다.

널리 사용되는 메트릭 기반 알고리즘은 두 개의 동일한 하위 네트워크를 사용하여 두 입력 예제 사이의 거리를 측정하는 방법을 학습하는 Siamese Network입니다. 이러한 하위 네트워크는 각 입력 예제에 대한 특징 표현을 생성한 다음 유클리드 거리 또는 코사인 유사성과 같은 거리 측정값을 사용하여 출력을 비교합니다.

그라디언트 메타 기반 학습

그라디언트 기반 메타 학습은 새로운 과제에 빠르게 적응할 수 있도록 매개변수를 업데이트하는 방법을 학습합니다.

이러한 알고리즘은 모델을 교육하여 초기 매개변수 세트를 학습하고 몇 가지 예만으로 새로운 작업에 빠르게 적응합니다. MAML(모델에 구애받지 않는 메타 학습)은 새로운 작업에 빠르게 적응하기 위해 모델의 매개 변수를 최적화하는 방법을 학습하는 인기 있는 경사 기반 메타 학습 알고리즘입니다. 일련의 관련 작업을 통해 모델을 훈련하고 각 작업의 몇 가지 예를 사용하여 모델의 매개변수를 업데이트합니다. 모델이 이러한 매개변수를 학습하면 현재 작업의 다른 예를 사용하여 매개변수를 미세 조정하여 성능을 향상시킬 수 있습니다.

Few-Shot 학습을 기반으로 한 이미지 분류 알고리즘

FSL에는 다음을 포함한 여러 알고리즘이 있습니다.

• 모델에 구애받지 않는 메타 학습: MAML은 모델을 학습하는 메타 학습 알고리즘입니다. 좋은 초기화를 사용하면 다음을 수행할 수 있습니다. 적은 수의 예제를 통해 새로운 작업에 적응합니다.
• 매칭 네트워크: 매칭 네트워크는 유사성을 계산하여 라벨이 붙은 예시와 새로운 예시를 일치시키는 방법을 학습합니다.
• 프로토타입 네트워크: 프로토타입 네트워크는 각 클래스에 대한 프로토타입 표현을 학습하고 프로토타입과의 유사성을 기준으로 새로운 예를 분류합니다.
• 관계 네트워크: 관계 네트워크는 예제 쌍을 비교하고 새로운 예제에 대해 예측하는 방법을 학습합니다.

모델에 구애받지 않는 메타 학습

MAML의 핵심 아이디어는 몇 가지 예를 통해 새로운 작업에 적용할 수 있는 모델 매개변수의 초기화를 학습하는 것입니다. 훈련 중에 MAML은 일련의 관련 작업을 수락하고 각 작업에 대해 레이블이 지정된 몇 가지 예만 사용하여 모델 매개변수를 업데이트하는 방법을 학습합니다. 이 프로세스를 통해 모델은 새로운 작업에 빠르게 적응할 수 있는 모델 매개변수의 우수한 초기화를 학습하여 새로운 작업에 일반화할 수 있습니다.

매칭 네트워크

매칭 네트워크는 일반적으로 사용되는 또 다른 소수 이미지 분류 알고리즘입니다. 고정된 지표나 매개변수를 학습하는 대신 현재 지원 세트를 기반으로 동적 지표를 학습합니다. 이는 쿼리 이미지와 지원 세트를 비교하는 데 사용되는 메트릭이 쿼리 이미지마다 다르다는 것을 의미합니다.

일치 네트워크 알고리즘은 Attention 메커니즘을 사용하여 각 쿼리 이미지에 대한 지원 세트 기능의 가중 합계를 계산합니다. 쿼리 이미지와 각 지원 세트 이미지 간의 유사성을 기반으로 가중치를 학습합니다. 그런 다음 지원 세트 기능의 가중치 합계가 쿼리 이미지 기능과 연결되고 결과 벡터는 여러 개의 완전히 연결된 레이어를 통과하여 최종 분류를 생성합니다.

프로토타입 네트워크

프로토타입 네트워크는 간단하고 효과적인 몇 장의 이미지 분류 알고리즘입니다. 이미지 표현을 학습하고 지원 예제의 임베딩 기능 평균을 사용하여 각 클래스의 프로토타입을 계산합니다. 테스트하는 동안 쿼리 이미지와 각 클래스 프로토타입 사이의 거리를 계산하고 가장 가까운 프로토타입을 가진 클래스를 쿼리에 할당합니다.

관계 네트워크

관계 네트워크 학습은 지원되는 예제 쌍을 비교하고 이 정보를 사용하여 쿼리 예제를 분류합니다. 관계 네트워크에는 기능 내장 네트워크와 관계 네트워크라는 두 가지 하위 네트워크가 포함됩니다. 특징 임베딩 네트워크는 지원 세트의 각 예시와 쿼리 예시를 특징 공간에 매핑합니다. 그런 다음 관계 네트워크는 쿼리 예제와 각 지원 세트 예제 간의 관계 점수를 계산합니다. 마지막으로 이러한 관계 점수는 쿼리 예를 분류하는 데 사용됩니다.

Few-shot 학습의 응용

Few-shot 학습은 다음을 포함한 다양한 분야에서 많은 응용이 가능합니다.

이미지 분류, 객체 감지 및 분할을 포함한 다양한 컴퓨터 비전 작업. 퓨샷 학습은 훈련 데이터에 없는 이미지의 새로운 객체를 식별할 수 있습니다.

텍스트 분류, 감정 분석, 언어 모델링과 같은 자연어 처리 작업에서 퓨샷 학습은 자원이 적은 언어에 대한 언어 모델의 성능을 향상시키는 데 도움이 됩니다.

로봇공학에서 퓨샷 학습을 사용하면 로봇이 새로운 작업을 빠르게 학습하고 새로운 환경에 적응할 수 있습니다. 예를 들어, 로봇은 몇 가지 예를 통해 새로운 물체를 집는 방법을 배울 수 있습니다.

데이터가 제한된 의료 진단 분야에서 소수의 샘플로 희귀 질환 및 이상을 식별할 수 있으며, 개인별 맞춤 치료 및 환자 결과 예측에 도움이 될 수 있습니다.

Summary

Few-shot 학습은 모델이 소수의 예를 통해 학습할 수 있는 강력한 기술입니다. 다양한 분야에서 수많은 응용 프로그램을 보유하고 있으며 기계 학습에 혁명을 일으킬 가능성이 있습니다. 지속적인 연구와 개발을 통해 퓨샷 학습은 보다 효율적이고 효과적인 기계 학습 시스템을 위한 길을 열 수 있습니다.

위 내용은 퓨샷 학습 검토: 기술, 알고리즘 및 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!