Python中的機器學習超參數調優技巧

隨著機器學習應用的廣泛普及，越來越多的資料科學家和機器學習開發者開始關注模型的效能最佳化，其中超參數調優是其中不可或缺的部分。在機器學習中，超參數代表模型的參數，而不是從訓練資料中學習到的權重。超參數設定不當可能導致模型在訓練和測試中表現不佳，因此超參數調優是關鍵的一環。

Python提供了許多流行的機器學習函式庫，像是Scikit-learn、TensorFlow等。這些函式庫提供了許多工具來幫助我們進行超參數調優。在本文中，我們將討論一些Python中的機器學習超參數調優技巧。

1. 網格搜尋

網格搜尋是一種簡單有效的超參數調優方法。它的核心思想是嘗試不同的超參數組合，並對每個組合進行交叉驗證，以找到效果最好的超參數組合。在Scikit-learn中，我們可以使用GridSearchCV類別來實作網格搜尋。

以下是網格搜尋的一般流程：

1）定義需要調優的參數和參數組合

2）使用GridSearchCV類別來進行交叉驗證和網格搜尋

3）輸出最佳的超參數組合

例如，在使用Scikit-learn中的Support Vector Machine（SVM）進行分類時，可以使用以下的程式碼進行網格搜索：

from sklearn.model_selection import GridSearchCV
from sklearn import svm, datasets

iris = datasets.load_iris()
X = iris.data[:, :2]
y = iris.target

parameters = {'kernel':('linear', 'rbf'), 'C':[0.1, 1, 10]}
svc = svm.SVC()
clf = GridSearchCV(svc, parameters)
clf.fit(X, y)

print("Best parameters:", clf.best_params_)

2. 隨機搜尋

網格搜尋雖然簡單可靠，但是當超參數窮舉空間較大時，計算量會顯得異常巨大。隨機搜尋方法透過在參數空間中隨機採樣一組參數並評估它們的性能來緩解這種情況。此方法探索更廣泛的參數空間，尤其在參數範圍廣泛且相互獨立的情況下，在相同的計算資源下，隨機搜尋可能比網格搜尋更有效。

以下是隨機搜尋的一般流程：

1）定義需要調優的參數和參數範圍

2）使用RandomizedSearchCV類別來進行交叉驗證和隨機搜尋

3）輸出最佳的超參數組合

例如，在Random Forest模型中，可以使用以下的程式碼進行隨機搜尋：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV
import numpy as np

# Load data
iris = datasets.load_iris()
X = iris.data[:, :2]
y = iris.target

# Define parameter grid
param_grid = {'n_estimators': np.arange(10, 200, 10),
              'max_features': ['auto', 'sqrt', 'log2'],
              'max_depth' : np.arange(1, 10),
              'criterion' :['gini', 'entropy']
             }

# Random search using 10-fold cross validation
rf = RandomForestClassifier()
rf_random = RandomizedSearchCV(estimator=rf,
                               param_distributions=param_grid,
                               n_iter=100,
                               cv=10,
                               random_state=42)

# Fit the model
rf_random.fit(X, y)

# Print the best parameters
print("Best parameters:", rf_random.best_params_)

3. 貝葉斯最佳化

貝葉斯最佳化是一種高效率的超參數調優方法。該方法透過在每個迭代中選擇最有可能提高效能的超參數組合來搜尋超參數空間，並在此過程中逐步收斂。這種做法因為嘗試不同參數時利用了早期運行的結果進行推斷，並且因為使用先驗概率D對模型的參數進行概率分佈建模，因此可以優化只能進行少量探索的情況，而且可以很好地處理離散或連續型參數，不同類型的目標函數和噪音，自動調整預設的搜尋規則等問題，在多維超空間最佳化中優勢顯著。

以下是貝葉斯最佳化的一般流程：

1）定義需要調優的參數和參數範圍

2）定義目標函數，並使用貝葉斯最佳化演算法進行最佳化

3）輸出最佳的超參數組合

例如，在使用Scikit-learn中的Gradient Boosting Machine（GBM）進行分類時，可以使用以下的程式碼進行貝葉斯最佳化：

from sklearn.datasets import load_iris
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import cross_val_score
from bayes_opt import BayesianOptimization

# Load data
iris = load_iris()
X = iris.data[:, :2]
y = iris.target

# Define objective function
def gbmler_learning_rate(learning_rate):
    gb = GradientBoostingClassifier(learning_rate=learning_rate)
    return cross_val_score(gb, X, y, cv=5).mean()

# Define parameter space
param_space = {'learning_rate': (0.01, 1.0)}

# Initialize optimizer
optimizer = BayesianOptimization(
    f=gbmler_learning_rate,
    pbounds=param_space,
    random_state=42
)

# Optimize
optimizer.maximize(
    init_points=5,
    n_iter=25
)

# Print the best parameters
print("Best parameters:", optimizer.max['params'])

4. 可解釋性的參數搜尋

#通常超參數搜尋是將分類器思想放在超參數搜尋之前，對所有可能的超參數設定進行一些編碼，例如在搜尋過程中將各個超參數設定排列列成數組的形式，並且將該數組作為輸入。執行此方法的搜尋的主要問題是超參數將作為個體出現，將失去其互動效果資訊。相反，這一方法是從事簡單和可解釋的統計建模的一部分。使用貝葉斯最優化的另一個好處是使用機率模型推理時，能夠對搜尋相機和限制超參數之間的關係。

總結起來，Python提供了許多機器學習超參數調優的技巧，包括網格搜尋、隨機搜尋、貝葉斯最佳化和可解釋性的參數搜尋。選擇適合你的資料集的方法可以幫助你在超參數調優方面取得更好的結果。

以上是Python中的機器學習超參數調優技巧的詳細內容。更多資訊請關注PHP中文網其他相關文章！