생성 모델과 차별 모델

분류 모델은 생성 모델과 판별 모델이라는 두 가지 주요 범주로 나눌 수 있습니다. 이 기사에서는 이 두 모델 유형의 차이점을 설명하고 각 접근 방식의 장단점을 논의합니다.

판별 모델

판별 모델은 입력 데이터의 특성을 학습하여 출력 레이블을 예측하는 모델입니다. 분류 문제에서 우리의 목표는 각 입력 벡터 x를 레이블 y에 할당하는 것입니다. 판별 모델은 입력 벡터를 레이블에 매핑하는 함수 f(x)를 직접 학습하려고 시도합니다. 이러한 모델은 두 가지 하위 유형으로 더 나눌 수 있습니다.

분류자는 확률 분포를 사용하지 않고 f(x)를 찾으려고 합니다. 이러한 분류기는 클래스의 확률 추정치를 제공하지 않고 각 샘플에 대한 레이블을 직접 출력합니다. 이러한 분류기는 결정론적 분류기 또는 무분포 분류기라고도 합니다. 이러한 분류기의 예로는 k-최근접 이웃, 의사결정 트리, SVM 등이 있습니다.

분류자는 먼저 훈련 데이터에서 사후 클래스 확률 P(y = k|x)를 학습하고 이러한 확률을 기반으로 클래스 중 하나(일반적으로 사후 확률이 가장 높은 클래스)에 새 샘플 x를 할당합니다.

이러한 분류기를 확률 분류기라고도 합니다. 이러한 분류기의 예로는 출력 계층에서 시그모이드 또는 소프트맥스 함수를 사용하는 로지스틱 회귀 및 신경망이 있습니다.

모든 조건이 동일할 때 저는 일반적으로 결정론적 분류기보다는 확률 분류기를 사용합니다. 왜냐하면 이 분류기는 특정 클래스에 샘플을 할당할 때 신뢰도에 대한 추가 정보를 제공하기 때문입니다.

일반 판별 모델에는 다음이 포함됩니다.

• 로지스틱 회귀(LR)
• 지원 벡터 머신(SVM)
• 결정 트리(DT)

생성 모델

생성 모델은 클래스 확률을 추정하기 전에 입력 분포를 학습합니다. 생성 모델은 데이터 생성 과정을 학습할 수 있는 모델로, 입력 데이터의 확률 분포를 학습하고 새로운 데이터 샘플을 생성할 수 있습니다.

더 구체적으로, 생성 모델은 먼저 훈련 데이터에서 카테고리의 조건부 밀도 P(x|y = k)와 사전 카테고리 확률 P(y = k)를 추정합니다. 그들은 각 카테고리의 데이터가 어떻게 생성되는지 이해하려고 노력합니다.

그런 다음 Bayes 정리를 사용하여 사후 클래스 확률을 추정합니다.

Bayes 규칙의 분모는 분자에 나타나는 변수로 나타낼 수 있습니다.

생성 모델은 입력과 레이블을 먼저 학습할 수도 있습니다. 그런 다음 P(x, y)의 결합 분포를 정규화하여 사후 확률 P(y = k|x)를 얻습니다. 사후 확률이 있으면 이를 사용하여 클래스 중 하나(일반적으로 사후 확률이 가장 높은 클래스)에 새 샘플 x를 할당할 수 있습니다.

예를 들어 개 이미지(y = 1)와 고양이 이미지(y = 0)를 구별해야 하는 이미지 분류 작업을 생각해 보세요. 생성 모델은 먼저 개 P(x|y = 1) 모델과 고양이 P(x|y = 0) 모델을 구축합니다. 그런 다음 새 이미지를 분류할 때 이를 두 모델과 비교하여 새 이미지가 개에 더 가까운지 고양이에 더 가까운지 확인합니다.

생성 모델을 사용하면 학습된 입력 분포 P(x|y)에서 새로운 샘플을 생성할 수 있습니다. 그래서 우리는 그것을 생성 모델이라고 부릅니다. 가장 간단한 예는 위 모델의 경우 P(x|y = 1)에서 샘플링하여 새로운 개 이미지를 생성할 수 있다는 것입니다.

일반 생성 모델에는

• Naive Bayes(Naïve Bayes)
• Gaussian Mixture Models(GMMs)
• Hidden Markov Model(hmm)
• Linear Discriminant Analysis(LDA)

Deep Generative Model(DGMs) 적극적인 모델 및 심층 신경망:

• Autoencoder(AE)
• Generative Adversarial Network(GAN)
• GPT(Generative Pre-trained Transformer)와 같은 자동 회귀 모델)은 수십억 개의 매개변수가 있는 자동 회귀 언어 모델입니다.

차이점, 장점 및 단점

생성 모델과 차별 모델의 주요 차이점은 서로 다른 학습 목표에 있습니다. 생성 모델은 입력 데이터의 분포를 학습하고 새로운 데이터 샘플을 생성할 수 있습니다. 판별 모델은 입력 데이터와 출력 레이블 간의 관계를 학습하고 새 레이블을 예측할 수 있습니다.

생성 모델:

생성 모델은 입력 분포와 클래스 확률을 동시에 학습하기 때문에 더 많은 정보를 제공합니다. 학습된 입력 분포에서 새로운 샘플을 생성할 수 있습니다. 그리고 결측값을 사용하지 않고 입력 분포를 추정할 수 있으므로 결측 데이터를 처리할 수 있습니다. 그러나 대부분의 판별 모델에서는 모든 기능이 존재해야 합니다.

생성 모델은 입력 데이터와 출력 데이터 간의 공동 분포를 설정하기 위해 많은 양의 컴퓨팅 및 스토리지 리소스가 필요하기 때문에 훈련 복잡성이 높습니다. 생성 모델은 입력 데이터와 출력 데이터 간의 결합 분포를 설정해야 하고 데이터 분포를 가정하고 모델링해야 하기 때문에 데이터 분포에 대한 가정이 상대적으로 강합니다. 따라서 복잡한 데이터 분포의 경우 생성 모델이 필요합니다. 소규모에 적합합니다. 컴퓨팅 리소스에는 적용되지 않습니다.

생성 모델은 입력 데이터와 출력 데이터 사이에 다변량 결합 분포를 설정하여 다중 모드 데이터를 처리할 수 있기 때문에 다중 모드 데이터를 처리할 수 있습니다.

판별 모델:

생성 모델이 데이터에 대한 몇 가지 가정 없이 입력 분포 P(x|y)를 학습하는 것은 계산적으로 어렵습니다. 예를 들어 x가 m개의 이진 특성으로 구성된 경우 P를 예측합니다. (x |y) 모델링을 위해서는 각 클래스의 데이터에서 2ᵐ 매개변수를 추정해야 합니다(이 매개변수는 m 특성의 2ᵐ 조합 각각의 조건부 확률을 나타냅니다). Naïve Bayes와 같은 모델은 학습해야 하는 매개변수 수를 줄이기 위해 기능의 조건부 독립성을 가정하므로 학습 복잡성이 낮습니다. 그러나 그러한 가정으로 인해 생성 모델이 판별 모델보다 성능이 떨어지는 경우가 많습니다.

판별 모델은 입력 데이터와 출력 데이터 간의 매핑 관계를 유연하게 모델링할 수 있으므로 복잡한 데이터 분포 및 고차원 데이터에 적합합니다.

차별 모델은 입력 데이터와 출력 데이터 간의 매핑 관계만 고려하고 누락된 값을 채우고 노이즈를 제거하기 위해 입력 데이터의 정보를 사용하지 않기 때문에 노이즈 데이터와 누락 데이터에 민감합니다.

요약

생성 모델과 판별 모델은 모두 기계 학습에서 중요한 모델 유형입니다. 각각 고유한 장점과 적용 가능한 시나리오가 있습니다. 실제 적용에서는 특정 작업의 요구에 따라 적절한 모델을 선택하고 하이브리드 모델과 기타 기술 수단을 결합하여 모델의 성능과 효과를 향상시키는 것이 필요합니다.

위 내용은 생성 모델과 차별 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!