當我們建立迴歸演算法並想知道模型的效率如何時,我們使用錯誤度量來取得代表機器學習模型錯誤的值。當我們想要測量數值(實數、整數)的預測模型的誤差時,本文的指標就非常重要。
在本文中,我們將介紹迴歸演算法的主要誤差指標,在 Python 中手動執行計算,並在美元報價資料集上測量機器學習模型的誤差。
這兩個指標有點相似,我們有平均值和誤差百分比的指標,以及平均和絕對誤差百分比的指標,只是有區別,以便一組獲得差異的實際值,另一組獲得絕對值的差異。重要的是要記住,在這兩個指標中,數值越低,我們的預測就越好。
SE 指標是本文中最簡單的指標,其公式為:
SE = εR — P
因此,它是真實值(模型的目標變數)與預測值之間的差值總和。此指標有一些缺點,例如不將值視為絕對值,這將導致錯誤值。
ME 指標是 SE 的“補充”,我們基本上有一個區別,即我們將在給定元素數量的情況下獲得 SE 的平均值:
ME = ε(R-P)/N
與 SE 不同,我們只需將 SE 結果除以元素數量。這個指標和 SE 一樣,取決於規模,也就是說,我們必須使用同一組數據,並且可以與不同的預測模型進行比較。
MAE 指標是 ME,但僅考慮絕對(非負)值。當我們計算實際值和預測值之間的差異時,我們可能會得到負結果,而這種負差異會應用於先前的指標。在這個指標中,我們必須將差異轉換為正值,然後根據元素數量取平均值。
MPE 指標是平均誤差佔每個差異總和的百分比。這裡我們必須取得差異的百分比,將其相加,然後除以元素數量以獲得平均值。因此,實際值和預測值之間的差異除以實際值,再乘以 100,我們將所有這些百分比相加,然後除以元素數量。此指標與比例 (%) 無關。
MAPAE 指標與先前的指標非常相似,但是預測 x 實際之間的差異是絕對的,也就是說,您用正值來計算它。因此,該指標是錯誤百分比的絕對差異。此指標也是與尺度無關的。
給出每個指標的解釋,我們將根據美元匯率機器學習模型的預測,在 Python 中手動計算這兩個指標。目前,大多數迴歸指標都存在於 Sklearn 套件中的現成函數中,但這裡我們將手動計算它們,僅用於教學目的。
我們將只使用隨機森林和決策樹演算法來比較兩個模型之間的結果。
在我們的資料集中,我們有 SaldoMercado 和 saldoMercado_2 欄,它們是影響 Value 欄位(我們的美元報價)的資訊。正如我們所看到的,MercadoMercado 餘額與報價的關係比 Merado_2 餘額更密切。也可以觀察到我們沒有缺失值(無限或 Nan 值),而balanceMercado_2 欄位有許多非絕對值。
我們透過定義預測變數和我們想要預測的變數來準備機器學習模型的值。我們使用train_test_split將資料隨機分為30%用於測試,70%用於訓練。
最後,我們初始化兩種演算法(RandomForest 和 DecisionTree),擬合數據並用測試數據測量兩種演算法的分數。我們獲得了 TreeRegressor 83% 的分數和 ForestRegressor 90% 的分數,這在理論上表明 ForestRegressor 表現更好。
鑑於 ForestRegressor 的部分觀察到的效能,我們建立了一個包含應用指標所需資料的資料集。我們對測試資料進行預測,並使用實際值和預測值建立一個 DataFrame,包括差異和百分比欄位。
我們可以觀察到,相對於美元匯率的實際總額與我們模型預測的匯率:
我強調,這裡我們是出於教學目的手動執行計算。但是,建議使用 Sklearn 套件中的指標函數,因為它具有更好的性能並且計算出錯的可能性較低。
完整的程式碼可以在我的 GitHub 上找到:github.com/AirtonLira/artigo_metricasregressao
作者:Airton Lira Junior
LinkedIn:linkedin.com/in/airton-lira-junior-6b81a661/
以上是回歸演算法的指標的詳細內容。更多資訊請關注PHP中文網其他相關文章!