모델 평가는 딥러닝과 머신러닝에서 매우 중요한 부분으로, 모델의 성능과 효과를 측정하는 데 사용됩니다. 이 기사에서는 혼동 행렬, 정확도, 정밀도, 재현율 및 F1 점수를 단계별로 분석합니다.
혼동 행렬
혼동 행렬은 분류에서 모델의 성능을 평가하는 데 사용됩니다. 문제는 샘플 분류표의 데모 모델입니다. 행은 실제 범주를 나타내고 열은 예측 범주를 나타냅니다. 이진 분류 문제의 경우 혼동 행렬의 구조는 다음과 같습니다.
- True Positive(TP): 실제로 긍정적인 예인 샘플 수, 모델이 긍정적인 예로 예측하고, 긍정적인 사례를 정확하게 식별하는 모델의 능력. 일반적으로 더 높은 TP가 바람직합니다.
- False Negative(FN): 실제로 양성이고 모델에 의해 음성으로 예측되는 샘플 수입니다. 애플리케이션에 따라 이는 중요할 수 있습니다(예: 보안 위협 감지 실패).
- 거짓양성(FP): 실제로 음수이고 모델에 의해 양성으로 예측된 샘플 수로, 모델이 양성으로 예측해서는 안 되는 경우를 강조하며 이는 애플리케이션에 따라 결과를 초래할 수 있습니다(예: 의료 진단에서 불필요한 치료)
- 진음성(TN): 실제로 음성 사례이고 모델에서 음성 사례로 예측한 샘플 수는 음성 사례를 올바르게 식별하는 모델의 능력을 반영합니다. 일반적으로 더 높은 TN이 필요합니다.
초심자에게는 지저분해 보이지만 실제로는 매우 간단합니다. 뒤의 Negative/Positive는 모델 예측값이고 앞의 True/False는 모델 예측의 정확도입니다. 예를 들어 True Negative는 모델 예측이 음수이고 실제 값과 일치함, 즉 예측이 정확함을 의미합니다. 이렇게 하면 이해하기가 더 쉬워집니다. 다음은 간단한 혼동 행렬입니다.
from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()
올바른 예측과 전반적인 정확성을 강조하려면 TP와 TN을 사용하세요. 모델에서 발생하는 오류 유형을 이해하려면 FP 및 FN을 사용하세요. 예를 들어, 오탐지 비용이 높은 애플리케이션에서는 오탐지 최소화가 중요할 수 있습니다.
예를 들어 스팸 분류기에 대해 이야기해 보겠습니다. 혼동 행렬은 분류자가 올바르게 식별한 스팸 이메일의 수와 스팸으로 잘못 표시한 스팸이 아닌 이메일의 수를 이해하는 데 도움이 됩니다
혼동 행렬을 기반으로 정확도, 정밀도, 리콜 및 F1 점수.
Accuracy
위의 요약에 따르면, 계산된 것은 정확하게 예측할 수 있는 비율입니다. 분자는 TP와 TN이 모두 참이라는 것입니다. 이는 에 의한 올바른 예측의 총 개수입니다. 모델
정밀도
공식을 볼 수 있습니다. 양성의 비율, 즉 데이터에서 얼마나 많은 양성이 올바르게 예측되었는지 계산하므로 정밀도를 정밀도율이라고도 합니다
이는 허위 경보로 인해 심각한 결과나 비용이 발생하는 상황에서 매우 중요합니다. 의료 진단 모델을 예로 들면, 정말 치료가 필요한 사람만 치료를 받을 수 있도록 정확도가 보장됩니다. 민감도 또는 진양성율이라고도 불리는 리콜은 모든 양성 클래스를 포착하는 모델을 말합니다.
공식에서 볼 수 있듯이, 주요 목적은 모델이 포착한 실제 긍정적 사례의 수, 즉 긍정적 사례의 비율을 계산하는 것입니다. 따라서 Recall을 Recall rate라고도 합니다
F1 Score
F1 점수 계산 공식은 다음과 같습니다. F1 = 2 * (정밀도 * 재현율) / (정밀도 + 재현율) 그 중 정밀도(Precision)는 모델이 긍정적 사례로 예측한 표본이 실제 긍정적 사례인 비율을 의미하며, 재현율은 모델이 긍정적 사례로 정확하게 예측한 표본 수와 실제 긍정적 사례로 예측된 표본 수의 비율을 의미합니다. 긍정적인 예. F1 점수는 정밀도와 재현율의 조화 평균으로 모델의 성능을 평가하기 위해 모델의 정확성과 포괄성을 종합적으로 고려할 수 있습니다
F1 점수는 정밀도와 재현율을 모두 제공하므로 중요합니다. 요금 사이에서 할인됩니다. 정밀도와 재현율 사이의 균형을 찾고 싶거나 일반적인 응용 분야에 F1 Score를 사용할 수 있습니다.
Summary
이 글에서는 혼동행렬, 정확도, 정밀도, 재현율, F1 점수에 대해 자세히 소개했고, 이러한 지표들이 모델의 성능을 효과적으로 평가하고 향상시킬 수 있음을 지적했습니다
위 내용은 분류 모델 평가 지표를 하나의 기사로 읽어보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

ZendStudio 13.5.1 맥
강력한 PHP 통합 개발 환경

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
