찾다
백엔드 개발파이썬 튜토리얼Python 모델 성능 ROC 및 AUC 란 무엇입니까?

Text

ROC 분석 및 AUC(곡선 아래 면적)는 데이터 과학에서 널리 사용되는 도구로, 신호 처리에서 차용하여 다양한 매개변수화에서 모델의 품질을 평가하거나 둘 또는 성능을 비교합니다. 여러 모델 중. ROC 分析和曲线下面积 (AUC) 是数据科学中广泛使用的工具,借鉴了信号处理,用于评估不同参数化下模型的质量,或比较两个或多个模型的性能。

传统的性能指标,如准确率和召回率,在很大程度上依赖于正样本的观察。因此,ROC 和 AUC 使用真阳性率和假阳性率来评估质量,同时考虑到正面和负面观察结果。

从分解问题到使用机器学习解决问题的过程有多个步骤。它涉及数据收集、清理和特征工程、构建模型,最后是,评估模型性能。

当您评估模型的质量时,通常会使用精度和召回率等指标,也分别称为数据挖掘领域的置信度和灵敏度。

这些指标将预测值与通常来自保留集的实际观察值进行比较,使用混淆矩阵进行可视化。

Python 모델 성능 ROC 및 AUC 란 무엇입니까?

让我们首先关注精度,也称为阳性预测值。使用混淆矩阵,您可以将 Precision 构建为所有真实阳性与所有预测阳性的比率。

Python 모델 성능 ROC 및 AUC 란 무엇입니까?

召回率,也称为真阳性率,表示真阳性与观察到的和预测的所有阳性的比率。

Python 모델 성능 ROC 및 AUC 란 무엇입니까?

使用混淆矩阵中的不同观察集来描述 PrecisionRecall

정밀도 및 재현율과 같은 기존 성능 지표는 양성 샘플 관찰에 크게 의존합니다. 따라서 ROC와 AUC는 긍정적인 관찰과 부정적인 관찰을 모두 고려하여 참양성률과 위양성률을 사용하여 품질을 평가합니다.

문제 분해부터 기계 학습을 사용한 해결까지 여러 단계가 있습니다. 여기에는 데이터 수집, 정리 및 기능 엔지니어링, 모델 구축, 마지막으로 모델 성능 평가가 포함됩니다.

모델의 품질을 평가할 때 일반적으로 데이터 마이닝 분야에서는 각각 신뢰도 및 민감도라고도 알려진 정밀도 및 재현율과 같은 측정항목을 사용합니다.

이 측정항목은 예측 값을 혼동 행렬을 사용하여 시각화한 홀드아웃 세트의 실제 관측값과 비교합니다.

파이썬 모델 성능 ROC 및 AUC는 무엇입니까

Python 모델 성능 ROC 및 AUC 란 무엇입니까?먼저 살펴보겠습니다 긍정적인 예측 가치라고도 알려진 정확성에 중점을 둡니다. 혼동 행렬을 사용하면 모든 예측 긍정에 대한 모든 참 긍정의 비율로 정밀도를 구성할 수 있습니다.

파이썬 모델 성능 ROC 및 AUC는 무엇입니까

재현율, 참양성률이라고도 하며, 관찰 및 예측된 모든 양성에 대한 참양성의 비율을 나타냅니다.

파이썬 모델 성능 ROC 및 AUC는 무엇입니까

혼동 행렬 사용 정밀도재현율의 다양한 관찰 세트를 사용하면 이러한 측정항목이 모델 성능에 대한 보기를 제공하는 방식을 이해할 수 있습니다.

정밀도와 재현율은 부정적인 예를 고려하지 않고 긍정적인 예와 예측에만 초점을 맞춘다는 점에 주목할 가치가 있습니다. 또한 모델의 성능을 단지 무작위 추측인 중앙값 시나리오와 비교하지 않습니다.

1. ROC 곡선

ROC는 정밀도와 재현율 간의 균형을 시각화하는 요약 도구 역할을 합니다. ROC 분석은 ROC 곡선을 사용하여 이진 신호 값이 노이즈, 즉 무작위성으로 오염된 정도를 확인합니다. 이는 다양한 작동 지점에 대한 연속 예측 변수의 민감도와 특이성에 대한 요약을 제공합니다. ROC 곡선은 y축의 참양성률에 대해 x축의 거짓양성률을 플롯하여 얻습니다. Python 모델 성능 ROC 및 AUC 란 무엇입니까?

진양성률은 신호를 감지할 확률이고 위양성률은 위양성률이므로 ROC 분석은 질병이나 기타 행동을 안정적으로 감지하는 임계값을 결정하기 위해 의학 연구에서도 널리 사용됩니다. 🎜🎜🎜🎜🎜완벽한 모델은 위양성률과 참양성률이 1이므로 ROC 플롯의 왼쪽 상단에 있는 단일 작동 점이 됩니다. 그리고 가능한 최악의 모델은 ROC 플롯의 왼쪽 하단에 거짓 긍정 비율이 1이고 참 긍정 비율이 0인 단일 작동 지점을 갖습니다. 🎜🎜무작위 추측 모델은 결과를 정확하게 예측할 확률이 50%이므로 거짓양성률은 항상 참양성률과 동일합니다. 이것이 그래프에 대각선이 있는 이유입니다. 이는 신호 대 잡음을 감지할 확률이 50/50임을 나타냅니다. 🎜🎜2. AUC 면적 🎜🎜ROC 곡선을 완전히 분석하고 모델의 성능을 다른 여러 모델과 비교하려면 실제로 문헌에서 c-통계량이라고도 알려진 곡선 아래 면적(AUC)을 계산해야 합니다. . 곡선 아래 면적(AUC)은 곡선이 1x1 그리드에 표시되고 신호 이론과 평행하기 때문에 0과 1 사이의 값을 가지며 이는 신호 감지 가능성의 척도입니다. 🎜🎜이것은 모델이 실제 관찰과 거짓 관찰에 대해 얼마나 잘 평가되는지에 대한 아이디어를 제공하므로 매우 유용한 통계입니다. 이는 실제로 단일 분포에서 두 개의 정렬된 측정 샘플을 추출하는 귀무 가설을 테스트하는 Wilcoxon-Mann-Whitney 순위 합계 테스트의 정규화된 버전입니다. 🎜🎜ROC 곡선을 그리고 AUC(곡선 아래 면적)를 계산하기 위해 동일한 분류 작업을 해결하기 위해 SckitLearn의 RocCurveDisplay 방법을 사용하고 다층 퍼셉트론을 랜덤 포레스트 모델과 비교하기로 결정했습니다. 🎜
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score, RocCurveDisplay
def plot_roc(model, test_features, test_targets):
    """
    Plotting the ROC curve for a given Model and the ROC curve for a Random Forests Models
    """
    # comparing the given model with a Random Forests model
    random_forests_model = RandomForestClassifier(random_state=42)
    random_forests_model.fit(train_features, train_targets)
    rfc_disp = RocCurveDisplay.from_estimator(random_forests_model, test_features, test_targets)
    model_disp = RocCurveDisplay.from_estimator(model, test_features, test_targets, ax=rfc_disp.ax_)
    model_disp.figure_.suptitle("ROC curve: Multilayer Perceptron vs Random Forests")
    plt.show()
# using perceptron model as input
plot_roc(ml_percetron_model, test_features, test_targets)
🎜🎜🎜

위 내용은 Python 모델 성능 ROC 및 AUC 란 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 亿速云에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
파이썬 : 기본 응용 프로그램 탐색파이썬 : 기본 응용 프로그램 탐색Apr 10, 2025 am 09:41 AM

Python은 웹 개발, 데이터 과학, 기계 학습, 자동화 및 스크립팅 분야에서 널리 사용됩니다. 1) 웹 개발에서 Django 및 Flask 프레임 워크는 개발 프로세스를 단순화합니다. 2) 데이터 과학 및 기계 학습 분야에서 Numpy, Pandas, Scikit-Learn 및 Tensorflow 라이브러리는 강력한 지원을 제공합니다. 3) 자동화 및 스크립팅 측면에서 Python은 자동화 된 테스트 및 시스템 관리와 ​​같은 작업에 적합합니다.

2 시간 안에 얼마나 많은 파이썬을 배울 수 있습니까?2 시간 안에 얼마나 많은 파이썬을 배울 수 있습니까?Apr 09, 2025 pm 04:33 PM

2 시간 이내에 파이썬의 기본 사항을 배울 수 있습니다. 1. 변수 및 데이터 유형을 배우십시오. 이를 통해 간단한 파이썬 프로그램 작성을 시작하는 데 도움이됩니다.

10 시간 이내에 프로젝트 및 문제 중심 방법에서 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법?10 시간 이내에 프로젝트 및 문제 중심 방법에서 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법?Apr 02, 2025 am 07:18 AM

10 시간 이내에 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법은 무엇입니까? 컴퓨터 초보자에게 프로그래밍 지식을 가르치는 데 10 시간 밖에 걸리지 않는다면 무엇을 가르치기로 선택 하시겠습니까?

중간 독서를 위해 Fiddler를 사용할 때 브라우저에서 감지되는 것을 피하는 방법은 무엇입니까?중간 독서를 위해 Fiddler를 사용할 때 브라우저에서 감지되는 것을 피하는 방법은 무엇입니까?Apr 02, 2025 am 07:15 AM

Fiddlerevery Where를 사용할 때 Man-in-the-Middle Reading에 Fiddlereverywhere를 사용할 때 감지되는 방법 ...

Python 3.6에 피클 파일을로드 할 때 '__builtin__'모듈을 찾을 수없는 경우 어떻게해야합니까?Python 3.6에 피클 파일을로드 할 때 '__builtin__'모듈을 찾을 수없는 경우 어떻게해야합니까?Apr 02, 2025 am 07:12 AM

Python 3.6에 피클 파일로드 3.6 환경 보고서 오류 : modulenotfounderror : nomodulename ...

경치 좋은 스팟 코멘트 분석에서 Jieba Word 세분화의 정확성을 향상시키는 방법은 무엇입니까?경치 좋은 스팟 코멘트 분석에서 Jieba Word 세분화의 정확성을 향상시키는 방법은 무엇입니까?Apr 02, 2025 am 07:09 AM

경치 좋은 스팟 댓글 분석에서 Jieba Word 세분화 문제를 해결하는 방법은 무엇입니까? 경치가 좋은 스팟 댓글 및 분석을 수행 할 때 종종 Jieba Word 세분화 도구를 사용하여 텍스트를 처리합니다 ...

정규 표현식을 사용하여 첫 번째 닫힌 태그와 정지와 일치하는 방법은 무엇입니까?정규 표현식을 사용하여 첫 번째 닫힌 태그와 정지와 일치하는 방법은 무엇입니까?Apr 02, 2025 am 07:06 AM

정규 표현식을 사용하여 첫 번째 닫힌 태그와 정지와 일치하는 방법은 무엇입니까? HTML 또는 기타 마크 업 언어를 다룰 때는 정규 표현식이 종종 필요합니다.

Inversiting.com의 크롤링 메커니즘을 우회하는 방법은 무엇입니까?Inversiting.com의 크롤링 메커니즘을 우회하는 방법은 무엇입니까?Apr 02, 2025 am 07:03 AM

Investing.com의 크롤링 전략 이해 많은 사람들이 종종 Investing.com (https://cn.investing.com/news/latest-news)에서 뉴스 데이터를 크롤링하려고합니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.