## 머신러닝에서 Logits, Softmax 및 Softmax Cross-Entropy는 어떻게 함께 작동합니까?

로지트, 소프트맥스, 소프트맥스 교차 엔트로피 이해

머신러닝, 특히 심층 신경망에서는 개념을 이해하는 것이 중요합니다. 로지트, 소프트맥스 및 소프트맥스 교차 엔트로피.

로지트

로지트는 소프트맥스 변환을 거치기 전 신경망 계층의 크기 조정되지 않은 원시 출력을 나타냅니다. 이는 종종 실수 값의 벡터로 표현되며 0과 1 사이로 제한되지 않습니다.

Softmax

Softmax는 로짓을 변환하는 수학 함수입니다. 확률로. 로짓 벡터의 각 요소에 지수 함수를 적용한 다음 확률의 합이 1이 되도록 결과를 정규화합니다. 그 결과 여러 클래스에 대한 확률 분포가 생성됩니다.

Softmax Cross-Entropy

Softmax 교차 엔트로피는 분류 작업에 일반적으로 사용되는 손실 함수입니다. 이는 소프트맥스 변환과 교차 엔트로피 손실 계산을 결합합니다. 교차 엔트로피는 예측된 확률 분포(소프트맥스에서 생성)와 실제 실제 라벨 간의 거리를 측정합니다.

tf.nn.softmax와 tf.nn.softmax_cross_entropy_with_logits의 차이점

tf.nn.softmax와 tf.nn.softmax_cross_entropy_with_logits는 모두 로짓에서 작동합니다. 그러나 이들은 다른 목적으로 사용됩니다.

• tf.nn.softmax: 다중 클래스 분류에 유용한 클래스에 대한 확률 분포를 출력합니다.
• tf.nn.softmax_cross_entropy_with_logits: 소프트맥스와 교차 엔트로피 손실을 결합하여 예측 확률과 실제 확률 사이의 거리를 나타내는 단일 스칼라 손실 값을 얻습니다.

예

이미지를 고양이와 개의 두 클래스로 분류하는 작업을 수행하는 심층 신경망을 생각해 보세요. 네트워크의 마지막 계층은 두 개의 로짓 [0.5, 0.8]으로 구성된 벡터를 출력할 수 있습니다.

• tf.nn.softmax: 이러한 로짓에 대한 tf.nn.softmax의 출력은 [0.3553, 0.6447]입니다. 확률 배열은 두 번째 요소(0.6447)가 개가 될 확률.
• tf.nn.softmax_cross_entropy_with_logits: 이 이미지의 레이블이 개임을 나타내는 [0, 1]이라고 가정합니다. tf.nn.softmax_cross_entropy_with_logits의 출력은 예측 확률 [0.3553, 0.6447]과 실제 레이블 [0, 1] 사이의 교차 엔트로피를 나타내는 스칼라 손실 값입니다.

결론적으로, 로지트는 신경망의 원시 출력을 제공하고, 소프트맥스는 이를 확률로 변환하며, 소프트맥스 교차 엔트로피는 이러한 확률을 실제 레이블과 결합하여 최적화를 위한 손실 값을 계산합니다. 효과적인 머신러닝 모델을 설계하려면 이러한 개념을 이해하는 것이 필수적입니다.

위 내용은 ## 머신러닝에서 Logits, Softmax 및 Softmax Cross-Entropy는 어떻게 함께 작동합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!