분류 교정 및 회귀 교정을 위한 심층 신경망

심층 신경망은 특징과 패턴을 자동으로 학습할 수 있는 강력한 기계 학습 모델입니다. 그러나 실제 응용 분야에서는 성능과 안정성을 향상시키기 위해 신경망의 출력을 보정해야 하는 경우가 많습니다. 분류 교정과 회귀 교정은 일반적으로 사용되는 교정 기술이며 원리와 적용 방식이 다릅니다. 이 기사에서는 이 두 기술의 작동 원리와 응용 시나리오를 자세히 소개합니다.

1. 분류 교정

분류 교정은 분류기에서 출력되는 확률 분포 벡터를 조정하여 분류기의 신뢰성과 정확성을 향상시키는 것입니다. 분류 문제에서 신경망은 각 클래스의 예측 확률을 나타내는 벡터를 출력합니다. 그러나 이러한 확률은 항상 정확하지는 않으며 너무 높거나 너무 낮게 편향될 수 있습니다. 분류 교정의 목표는 이러한 확률을 조정하여 실제 확률 분포에 더 가깝게 만드는 것입니다. 이렇게 하면 분류기의 성능이 향상되어 다양한 클래스의 확률을 예측하는 데 있어 더욱 신뢰할 수 있게 됩니다.

일반적으로 사용되는 분류 교정 방법에는 다음 두 가지가 있습니다.

1. 온도 스케일링

온도 스케일링은 간단하고 효과적인 분류 교정 기술이며 그 원리는 신경망을 기반으로 합니다. , 이로써 분류기의 신뢰도를 조정합니다. 구체적으로 온도 스케일링은 온도 매개변수 T를 도입하여 원래 예측 확률 p를 보정된 확률 q로 변환하여 신경망의 마지막 레이어 출력을 스케일링합니다.

q_i=\frac{p_i^{\frac{1}{T}}}{\sum_{j=1}^K p_j^{\frac{1}{T}}}

여기서, i는 i번째 범주를 나타내고, K는 총 카테고리 수. T=1일 때 온도 스케일링은 원래 예측 확률을 변경하지 않습니다. T>1일 때 온도 스케일링은 분류기의 신뢰도를 높이고, T

온도 스케일링의 장점은 구현이 간단하고 비용이 저렴하며 모델을 재교육하지 않고도 교정할 수 있다는 것입니다. 그러나 온도 스케일링은 모든 범주의 오류가 독립적이고 동일한 스케일에 있다고 가정하기 때문에 모든 경우에 분류기의 성능을 효과적으로 향상시키는 것을 보장하지 않습니다. 이는 실제 응용에서는 반드시 그렇지 않습니다.

2.Platt Calibration(Platt 스케일링)

Platt 교정은 비교적 전통적인 분류 교정 방법으로, 그 원리는 신경망의 출력을 피팅하여 교정된 확률 분포를 얻는 로지스틱 회귀 모델을 기반으로 합니다. 구체적으로 Platt Calibration은 신경망의 출력에 맞는 이진 로지스틱 회귀 모델을 도입하여 새로운 확률 분포를 얻습니다. 로지스틱 회귀 모델의 입력은 신경망의 출력 또는 특성이며 출력은 0과 1 사이의 확률 값입니다. 로지스틱 회귀 모델을 피팅하면 각 범주에 대한 수정된 확률 값을 얻을 수 있습니다.

Platt Calibration의 장점은 예측 확률을 더 정확하게 추정할 수 있고 다양한 분류 문제에 적합하다는 것입니다. 그러나 Platt 보정에는 모델 피팅이 필요하므로 계산 비용이 높고 로지스틱 회귀 모델을 학습하려면 많은 양의 레이블이 지정된 데이터가 필요합니다.

2. 회귀 교정

회귀 교정은 회귀 모델의 출력을 수정하여 보다 안정적이고 정확하게 만드는 것을 말합니다. 회귀 문제에서 신경망의 출력은 일반적으로 예측 대상 변수의 값을 나타내는 연속적인 실수 값입니다. 그러나 이러한 예측 값에는 편향이나 분산이 있을 수 있으므로 예측의 정확성과 신뢰성을 향상하려면 회귀 보정이 필요합니다.

일반적으로 사용되는 회귀 교정 방법에는 다음 두 가지가 있습니다.

1. 과거 평균 교정

역사 평균 교정은 간단하고 효과적인 회귀 교정 기술이며, 그 원리는 과거 데이터를 사용하는 것입니다. 목표 변수의 평균과 분산을 계산한 후 신경망의 예측값을 조정합니다. 구체적으로, 과거 평균 교정은 과거 데이터의 평균과 분산을 계산하여 교정 인자를 얻은 후, 신경망의 예측값을 실제 목표값에 가깝게 수정합니다. 과거 평균 교정의 장점은 간단하고 사용하기 쉽고 추가 훈련 데이터 및 계산 비용이 필요하지 않으며 다양한 회귀 문제에 적합하다는 것입니다.

2. 선형 회귀 교정

선형 회귀 교정은 선형 모델을 실제 목표 값에 맞춰 신경망의 예측 값을 매핑하는 기술입니다. . 구체적으로, 선형 회귀 교정은 추가 레이블이 지정된 데이터를 사용하여 선형 회귀 모델을 학습하고, 신경망의 예측 값을 입력으로, 실제 목표 값을 출력으로 사용하여 선형 매핑 함수를 얻음으로써 신경망의 예측에 대한 예측을 수행합니다. 값.

선형 회귀 교정의 장점은 예측값과 목표값의 관계를 보다 정확하게 추정할 수 있다는 점이며, 다양한 회귀 문제에 적합합니다. 그러나 선형 회귀 모델을 피팅하려면 많은 양의 레이블이 지정된 데이터와 계산 비용이 필요하며 비선형 관계가 있는 회귀 문제에는 효과적이지 않을 수 있습니다.

일반적으로 분류 교정과 회귀 교정은 심층 신경망에서 일반적인 교정 기술로, 모델의 성능과 신뢰성을 향상시킬 수 있습니다. 분류 교정은 주로 분류기의 신뢰도를 조정하여 예측 확률을 더 정확하게 만듭니다. 회귀 교정은 주로 예측 값의 편향과 분산을 수정하여 예측 결과를 실제 목표 값에 더 가깝게 만듭니다. 실제 적용에서는 특정 문제에 따라 적절한 교정 방법을 선택하고 모델 성능을 최적화하기 위해 다른 기술과 결합해야 합니다.

위 내용은 분류 교정 및 회귀 교정을 위한 심층 신경망의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!