評估機器學習分類模型

概要

• 模型評估的目標是什麼？
• 模型評估的目的是什麼，有哪些 常見的評估程序？
• 分類準確率有什麼用，它的作用是什麼 限制？
• 混淆矩陣如何描述 分類器？
• 可以從混淆矩陣計算哪些指標？

T模型評估的目標是回答問題；

不同型號如何選擇？

評估機器學習的過程有助於確定模型的應用可靠性和有效性。這涉及評估不同的因素，例如其性能、指標以及預測或決策的準確性。

無論您選擇使用什麼模型，您都需要一種在模型之間進行選擇的方法：不同的模型類型、調整參數和功能。此外，您還需要一個模型評估程式來估計模型對未見過的資料的泛化能力。最後，您需要一個評估程序來與其他程序配合，以量化您的模型性能。

在我們繼續之前，讓我們回顧一下一些不同的模型評估程序及其運作方式。

模型評估程序及其運作方式。

1. 使用相同資料進​​行訓練和測試
   • 獎勵過於複雜的模型，這些模型「過度擬合」訓練資料且不一定具有泛化能力
2. 訓練/測試分開
   • 將資料集分成兩部分，以便可以在不同的資料上訓練和測試模型
   • 更好地估計樣本外性能，但仍然是「高方差」估計
   • 因其速度、簡單性和靈活性而有用
3. K 折交叉驗證
   • 系統地建立「K」個訓練/測試分組並將結果一起平均
   • 更好地估計樣本外表現
   • 運行速度比訓練/測試分開慢「K」倍。

從上面我們可以推論出：

• 對相同數據進行訓練和測試是過度擬合的一個典型原因，在這種情況下，您建立的模型過於複雜，無法泛化到新數據，而且實際上沒有用。

• Train_Test_Split 可以更好地估計樣本外效能。

• 透過系統性地進行 K 次訓練測試分割並將結果平均在一起，K 折交叉驗證效果更好。

總之，train_tests_split 由於其速度和簡單性，對於交叉驗證來說仍然是有利可圖的，這就是我們將在本教程中使用的內容。

模型評估指標：

您始終需要一個評估指標來配合您選擇的程序，而您選擇的指標取決於您要解決的問題。對於分類問題，可以使用分類精度。但我們將在本指南中重點關注其他重要的分類評估指標。

在我們學習任何新的評估指標之前，讓我們回顧一下分類準確性，並討論它的優點和缺點。

分類準確率

我們為本教學選擇了 Pima Indians 糖尿病資料集，其中包括 768 名患者的健康資料和糖尿病狀況。

讓我們讀取資料並列印前 5 行資料。如果患者患有糖尿病，則標籤欄顯示 1，如果患者沒有糖尿病，則標籤欄顯示 0，我們要回答的問題是：

問題： 我們可以根據患者的健康測量結果預測其糖尿病狀況嗎？

我們定義特徵量測 X 和反應向量 Y。我們使用 train_test_split 將 X 和 Y 分成訓練集和測試集。

接下來，我們在訓練集上訓練邏輯迴歸模型。在擬合步驟中，logreg 模型物件正在學習 X_train 和 Y_train 之間的關係。最後我們對測試集進行類別預測。

現在，我們已經對測試集進行了預測，我們可以計算分類準確率，簡單來說就是正確預測的百分比。

但是，每當您使用分類準確性作為評估指標時，將其與空準確性進行比較非常重要，這是透過始終預測最頻繁的類別可以獲得的準確性。

空準確率回答了問題；如果我的模型能夠 100% 預測主要類別，那麼它正確的機率是多少？在上面的場景中，y_test 的 32% 為 1（個）。換句話說，預測患者患有糖尿病的愚蠢模型68% 的時間是正確的（即零）。這提供了一個基線，我們可能希望根據該基線來衡量邏輯迴歸模型。

當我們比較 68% 的空精度和 69% 的模型精度時，我們的模型看起來不太好。這表明分類準確性作為模型評估指標的一個弱點。分類準確性並不能告訴我們有關測試測試的基本分佈的任何資訊。

總結：

• 分類準確度是最容易理解的分類指標
• 但是，它不會告訴您回應值的底層分佈
• 並且，它不會告訴您分類器正在產生什麼錯誤「類型」。

現在讓我們來看看混淆矩陣。

混淆矩陣

混淆矩陣是描述分類模型表現的表格。
它有助於幫助您了解分類器的性能，但它不是模型評估指標；所以你不能告訴 scikit learn 選擇具有最佳混淆矩陣的模型。然而，有許多指標可以從混淆矩陣中計算出來，並且可以直接用於在模型之間進行選擇。

• 測試集中的每個觀察結果都在恰好一個盒子中表示
• 這是一個 2x2 矩陣，因為有 2 個反應類別
• 此處顯示的格式不通用

讓我們解釋一下它的一些基本術語。

• 真陽性 (TP)：我們正確預測他們確實患有糖尿病
• 真陰性 (TN)：我們正確預測他們沒有患有糖尿病
• 誤報 (FP)：我們錯誤地預測他們確實患有糖尿病（「I 類錯誤」）
• 假陰性 (FN)：我們錯誤地預測他們沒有患有糖尿病（「II 型錯誤」）

讓我們來看看如何計算指標

結論：

• 混淆矩陣為您提供更完整的圖片您的分類器的執行情況
• 還允許您計算各種分類指標，這些指標可以指導您的模型選擇

以上是評估機器學習分類模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！