ML 模型的資料預處理技術

資料預處理是在將資料集用於機器學習或其他任務之前對資料集執行某些操作或步驟的行為。資料預處理涉及清理、格式化或轉換數據，以提高其品質或確保其適合其主要目的（在本例中為訓練模型）。乾淨且高品質的資料集可以增強機器學習模型的效能。

低品質資料的常見問題包括：

• 缺失值
• 格式不一致
• 重複值
• 不相關的功能

在本文中，我將向您展示一些常見的資料預處理技術，以準備用於訓練模型的資料集。您將需要 Python 的基本知識以及如何使用 Python 程式庫和框架。

要求：
為了充分利用本指南，需要滿足以下條件

• Python 3.12
• Jupyter Notebook 或您最喜歡的筆記本
• Numpy
• 熊貓
• Scipy
• Scikit 學習
• 墨爾本住房資料集

您也可以在 Github 上查看這些 Jupyter 筆記本中每個程式碼的輸出。

設定

如果您還沒有安裝Python，可以從Python網站下載並依照指示進行安裝。

安裝 Python 後，安裝所需的函式庫

pip install numpy scipy pandas scikit-learn

安裝 Jupyter Notebook。

pip install notebook

安裝後，使用以下指令啟動 Jupyter Notebook

jupyter notebook

這將在您的預設網頁瀏覽器中啟動 Jupyter Notebook。如果沒有，請檢查終端是否有可以手動貼上到瀏覽器中的連結。

從「檔案」選單開啟一個新筆記本，匯入所需的庫並執行單元

import numpy as np
import pandas as pd
import scipy
import sklearn

前往墨爾本住房資料集網站並下載資料集。使用以下程式碼將資料集載入到筆記本中。您可以複製電腦上的檔案路徑以貼上到 read_csv 函數中。您也可以將 csv 文件放在與筆記本相同的資料夾中，然後匯入文件，如下所示。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

將資料分為訓練集和驗證集

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

您必須將資料拆分為訓練集和驗證集，以防止資料外洩。因此，您對訓練特徵集執行的任何預處理技術都與您對驗證特徵集執行的預處理技術相同。

現在資料集已準備好進行處理！

資料清理

處理缺失值
資料集中的缺失值就像布料上的洞，應該用來縫製裙子。衣服還沒做好就已經被它弄壞了。

有 3 種方法來處理資料集中的缺失值。

1. 刪除包含空白儲存格的行或列

pip install numpy scipy pandas scikit-learn

此方法的問題是您可能會丟失用於訓練模型的有價值的資訊。除非刪除的行或列中的大多數值遺失，否則無需刪除包含空白儲存格的行或列。

1. 在空白儲存格中估算值 您可以使用該特定欄位中資料的平均值、中位數或眾數來估算或填入空白儲存格。 Scikit learn 中的 SimpleImputer 將用於估算空單元格中的值

pip install notebook

1. 估算並通知 其工作原理是，您在空白儲存格中估算值，但同時建立一個列來指示該儲存格最初為空。

jupyter notebook

重複刪除
重複的單元格意味著重複的數據，它會影響模型的準確性。對付它們的唯一方法就是丟掉它們。

import numpy as np
import pandas as pd
import scipy
import sklearn

處理異常值
異常值是與資料集中的其他值顯著不同的值。與其他資料值相比，它們可能異常高或異常低。它們可能是由於輸入錯誤而出現，也可能確實是異常值。

處理異常值非常重要，否則它們將導致數據分析或模型不準確。檢測異常值的一種方法是計算 z 分數。

它的工作方式是使用 z 分數來檢查資料點是否距離平均值 3 點或更多。此計算針對每個數據點進行。如果資料點的 z 分數等於 3 或更高值，則該資料點為異常值。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

資料轉換

標準化
您對特徵進行標準化，以便將它們描述為常態分佈。

常態分佈（也稱為高斯分佈）是一種統計分佈，其中平均值上方和下方的距離或分佈大致相等。常態分佈資料的資料點圖形形成鐘形曲線。

標準化資料的要點是您要使用的機器學習演算法是否假設資料呈常態分佈。一個例子是高斯樸素貝葉斯模型。

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

標準化
標準化將資料集的特徵轉換為平均值 0 和標準差 1。此過程對每個特徵進行縮放，使其在資料中具有相似的範圍。這確保了每個功能對模型訓練的貢獻平等。

在以下情況下使用標準化：

• 資料中的特徵具有不同的尺度或單位。
• 您想要使用的機器學習模型是基於距離或梯度最佳化（例如線性迴歸、邏輯迴歸、K 均值聚類）。

您可以使用 sklearn 庫中的 StandardScaler() 來標準化特徵。

pip install numpy scipy pandas scikit-learn

結論

資料預處理不只是一個初步階段。這是建立準確的機器學習模型過程的一部分。它還可以進行調整以滿足您正在使用的資料集的需求。

與大多數活動一樣，熟能生巧。當您繼續預處理資料時，您的技能和模型都會提高。

我很想聽聽您對此的想法？

以上是ML 模型的資料預處理技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！