모델 평가는 딥러닝과 머신러닝에서 매우 중요한 부분으로, 모델의 성능과 효과를 측정하는 데 사용됩니다. 이 기사에서는 혼동 행렬, 정확도, 정밀도, 재현율 및 F1 점수를 단계별로 분석합니다.
혼동 행렬
혼동 행렬은 분류에서 모델의 성능을 평가하는 데 사용됩니다. 문제는 샘플 분류표의 데모 모델입니다. 행은 실제 범주를 나타내고 열은 예측 범주를 나타냅니다. 이진 분류 문제의 경우 혼동 행렬의 구조는 다음과 같습니다.
- True Positive(TP): 실제로 긍정적인 예인 샘플 수, 모델이 긍정적인 예로 예측하고, 긍정적인 사례를 정확하게 식별하는 모델의 능력. 일반적으로 더 높은 TP가 바람직합니다.
- False Negative(FN): 실제로 양성이고 모델에 의해 음성으로 예측되는 샘플 수입니다. 애플리케이션에 따라 이는 중요할 수 있습니다(예: 보안 위협 감지 실패).
- 거짓양성(FP): 실제로 음수이고 모델에 의해 양성으로 예측된 샘플 수로, 모델이 양성으로 예측해서는 안 되는 경우를 강조하며 이는 애플리케이션에 따라 결과를 초래할 수 있습니다(예: 의료 진단에서 불필요한 치료)
- 진음성(TN): 실제로 음성 사례이고 모델에서 음성 사례로 예측한 샘플 수는 음성 사례를 올바르게 식별하는 모델의 능력을 반영합니다. 일반적으로 더 높은 TN이 필요합니다.
초심자에게는 지저분해 보이지만 실제로는 매우 간단합니다. 뒤의 Negative/Positive는 모델 예측값이고 앞의 True/False는 모델 예측의 정확도입니다. 예를 들어 True Negative는 모델 예측이 음수이고 실제 값과 일치함, 즉 예측이 정확함을 의미합니다. 이렇게 하면 이해하기가 더 쉬워집니다. 다음은 간단한 혼동 행렬입니다.
from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()
올바른 예측과 전반적인 정확성을 강조하려면 TP와 TN을 사용하세요. 모델에서 발생하는 오류 유형을 이해하려면 FP 및 FN을 사용하세요. 예를 들어, 오탐지 비용이 높은 애플리케이션에서는 오탐지 최소화가 중요할 수 있습니다.
예를 들어 스팸 분류기에 대해 이야기해 보겠습니다. 혼동 행렬은 분류자가 올바르게 식별한 스팸 이메일의 수와 스팸으로 잘못 표시한 스팸이 아닌 이메일의 수를 이해하는 데 도움이 됩니다
혼동 행렬을 기반으로 정확도, 정밀도, 리콜 및 F1 점수.
Accuracy
위의 요약에 따르면, 계산된 것은 정확하게 예측할 수 있는 비율입니다. 분자는 TP와 TN이 모두 참이라는 것입니다. 이는 에 의한 올바른 예측의 총 개수입니다. 모델
정밀도
공식을 볼 수 있습니다. 양성의 비율, 즉 데이터에서 얼마나 많은 양성이 올바르게 예측되었는지 계산하므로 정밀도를 정밀도율이라고도 합니다
이는 허위 경보로 인해 심각한 결과나 비용이 발생하는 상황에서 매우 중요합니다. 의료 진단 모델을 예로 들면, 정말 치료가 필요한 사람만 치료를 받을 수 있도록 정확도가 보장됩니다. 민감도 또는 진양성율이라고도 불리는 리콜은 모든 양성 클래스를 포착하는 모델을 말합니다.
공식에서 볼 수 있듯이, 주요 목적은 모델이 포착한 실제 긍정적 사례의 수, 즉 긍정적 사례의 비율을 계산하는 것입니다. 따라서 Recall을 Recall rate라고도 합니다
F1 Score
F1 점수 계산 공식은 다음과 같습니다. F1 = 2 * (정밀도 * 재현율) / (정밀도 + 재현율) 그 중 정밀도(Precision)는 모델이 긍정적 사례로 예측한 표본이 실제 긍정적 사례인 비율을 의미하며, 재현율은 모델이 긍정적 사례로 정확하게 예측한 표본 수와 실제 긍정적 사례로 예측된 표본 수의 비율을 의미합니다. 긍정적인 예. F1 점수는 정밀도와 재현율의 조화 평균으로 모델의 성능을 평가하기 위해 모델의 정확성과 포괄성을 종합적으로 고려할 수 있습니다
F1 점수는 정밀도와 재현율을 모두 제공하므로 중요합니다. 요금 사이에서 할인됩니다. 정밀도와 재현율 사이의 균형을 찾고 싶거나 일반적인 응용 분야에 F1 Score를 사용할 수 있습니다.
Summary
이 글에서는 혼동행렬, 정확도, 정밀도, 재현율, F1 점수에 대해 자세히 소개했고, 이러한 지표들이 모델의 성능을 효과적으로 평가하고 향상시킬 수 있음을 지적했습니다
위 내용은 분류 모델 평가 지표를 하나의 기사로 읽어보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

존 롤스 (John Rawls)의 1971 년 책 The Justice의 이론에서 그는 오늘날의 AI 디자인의 핵심으로 취해야 할 사고 실험을 제안하고 의사 결정 : 무지의 베일을 제안했다. 이 철학은 형평성을 이해하기위한 간단한 도구를 제공하며 리더 가이 이해를 사용하여 AI를 공평한 방식으로 설계하고 구현할 수있는 청사진을 제공합니다. 새로운 사회에 대한 규칙을 만들고 있다고 상상해보십시오. 그러나 전제가 있습니다.이 사회에서 어떤 역할을할지 미리 알 수 없습니다. 당신은 부자 또는 가난하거나 건강하거나 장애가있을 수 있으며 다수 또는 소수의 소수에 속할 수 있습니다. 이 "무지의 베일"하에 운영되면 규칙 제조업체가 스스로 이익을 얻는 결정을 내리지 못하게합니다. 반대로, 사람들은 대중을 공식화하도록 더 동기를 부여받을 것입니다

수많은 회사들이 로봇 프로세스 자동화 (RPA)를 전문으로하며, 반복적 인 작업과 같은 반복적 인 작업 (어디서나 자동화, 파란색 프리즘 등)를 제공하는 봇을 제공합니다. 한편, 프로세스 마이닝, 오케스트레이션 및 지능형 문서 처리 Speciali

AI의 미래는 간단한 단어 예측과 대화 시뮬레이션을 넘어서고 있습니다. AI 에이전트는 새로운 행동 및 작업 완료가 가능합니다. 이러한 변화는 이미 Anthropic의 Claude와 같은 도구에서 분명합니다. AI 요원 : 연구 a

빠른 기술 발전은 미래의 업무에 대한 미래 지향적 인 관점을 필요로합니다. AI가 단순한 생산성 향상을 초월하고 사회적 구조를 형성하기 시작하면 어떻게됩니까? Topher McDougal의 다가오는 책인 Gaia Wakes :

조화 시스템 (HS)과 같은 시스템의 "HS 8471.30"과 같은 복잡한 코드를 포함하는 제품 분류는 국제 무역 및 국내 판매에 중요합니다. 이 코드는 올바른 세금 신청을 보장하여 모든 inv에 영향을 미칩니다

데이터 센터 및 기후 기술 투자의 에너지 소비의 미래 이 기사는 AI가 주도하는 데이터 센터의 에너지 소비 급증과 기후 변화에 미치는 영향을 탐구 하고이 과제를 해결하기 위해 혁신적인 솔루션 및 정책 권장 사항을 분석합니다. 에너지 수요의 과제 : 대규모 및 초대형 스케일 데이터 센터는 수십만 명의 일반 북미 가족의 합과 비슷한 대규모 전력을 소비하며, AI 초반 규모 센터는 이보다 수십 배 더 많은 힘을 소비합니다. 2024 년 첫 8 개월 동안 Microsoft, Meta, Google 및 Amazon은 AI 데이터 센터의 건설 및 운영에 약 1,250 억 달러를 투자했습니다 (JP Morgan, 2024) (표 1). 에너지 수요 증가는 도전이자 기회입니다. 카나리아 미디어에 따르면 다가오는 전기

생성 AI는 영화 및 텔레비전 제작을 혁신하고 있습니다. Luma의 Ray 2 모델과 활주로의 Gen-4, Openai의 Sora, Google의 VEO 및 기타 새로운 모델은 전례없는 속도로 생성 된 비디오의 품질을 향상시키고 있습니다. 이 모델은 복잡한 특수 효과와 현실적인 장면을 쉽게 만들 수 있으며 짧은 비디오 클립과 카메라로 인식 된 모션 효과조차도 달성되었습니다. 이러한 도구의 조작과 일관성은 여전히 개선되어야하지만 진행 속도는 놀랍습니다. 생성 비디오는 독립적 인 매체가되고 있습니다. 일부 모델은 애니메이션 제작에 능숙하고 다른 모델은 라이브 액션 이미지에 능숙합니다. Adobe 's Firefly와 Moonvalley's MA가

ChatGpt 사용자 경험 감소 : 모델 저하 또는 사용자 기대치입니까? 최근에, 많은 ChatGpt 유료 사용자가 성능 저하에 대해 불평하여 광범위한 관심을 끌었습니다. 사용자는 모델에 대한 느린 반응, 짧은 답변, 도움 부족 및 더 많은 환각을보고했습니다. 일부 사용자는 소셜 미디어에 대한 불만을 표명했으며 Chatgpt가“너무 아첨”이되었으며 중요한 피드백을 제공하기보다는 사용자보기를 확인하는 경향이 있습니다. 이는 사용자 경험에 영향을 줄뿐만 아니라 생산성 감소 및 컴퓨팅 리소스 낭비와 같은 회사 고객에게 실제 손실을 가져옵니다. 성능 저하의 증거 많은 사용자들이 ChatGpt 성능, 특히 GPT-4와 같은 이전 모델 (이번 달 말에 서비스에서 곧 중단 될 예정)에서 상당한 악화를보고했습니다. 이것


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

WebStorm Mac 버전
유용한 JavaScript 개발 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구
