Pemilihan Model ML.

1. Pengenalan

Dalam artikel ini, kami akan belajar cara memilih model terbaik antara berbilang model dengan hiperparameter yang berbeza-beza, dalam sesetengah kes kami boleh mempunyai lebih daripada 50 model berbeza, mengetahui cara memilih satu adalah penting untuk mendapatkan prestasi terbaik untuk set data anda .

Kami akan melakukan pemilihan model kedua-duanya dengan memilih algoritma pembelajaran terbaik dan hiperparameter terbaiknya.

Tetapi terlebih dahulu apakah itu hiperparameter? Ini ialah tetapan tambahan yang ditetapkan oleh pengguna dan akan mempengaruhi cara model akan mempelajari parameternya. Parameter sebaliknya ialah perkara yang dipelajari oleh model semasa proses latihan.

2. Menggunakan Carian Lengkap.

Carian Lengkap melibatkan pemilihan model terbaik dengan mencari dalam julat hiperparameter. Untuk melakukan ini, kami menggunakan GridSearchCV scikit-learn.

Cara GridSearchCV berfungsi:

1. Pengguna mentakrifkan set nilai yang mungkin untuk satu atau berbilang hiperparameter.
2. GridSearchCV melatih model menggunakan setiap nilai dan/atau gabungan nilai.
3. Model dengan prestasi terbaik dipilih sebagai model terbaik.

Contoh
Kami boleh menyediakan regresi logistik sebagai algoritma pembelajaran kami dan menala dua hiperparameter, (C dan penalti penyelarasan). Kami juga boleh menentukan dua parameter penyelesai dan lelaran maksimum.

Kini untuk setiap gabungan C dan nilai penalti regularization, kami melatih model dan menilainya menggunakan pengesahan silang lipatan k.
Oleh kerana kita mempunyai 10 kemungkinan nilai C, 2 kemungkinan nilai reg. penalti dan 5 lipatan kita mempunyai sejumlah (10 x 2 x 5 = 100) model calon yang mana yang terbaik dipilih.

# Load libraries
import numpy as np
from sklearn import linear_model, datasets
from sklearn.model_selection import GridSearchCV

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create logistic regression
logistic = linear_model.LogisticRegression(max_iter=500, solver='liblinear')

# Create range of candidate penalty hyperparameter values
penalty = ['l1','l2']

# Create range of candidate regularization hyperparameter values
C = np.logspace(0, 4, 10)

# Create dictionary of hyperparameter candidates
hyperparameters = dict(C=C, penalty=penalty)

# Create grid search
gridsearch = GridSearchCV(logistic, hyperparameters, cv=5, verbose=0)

# Fit grid search
best_model = gridsearch.fit(features, target)

# Show the best model
print(best_model.best_estimator_)

# LogisticRegression(C=7.742636826811269, max_iter=500, penalty='l1',
solver='liblinear') # Result

Mendapatkan model terbaik:

# View best hyperparameters
print('Best Penalty:', best_model.best_estimator_.get_params()['penalty'])
print('Best C:', best_model.best_estimator_.get_params()['C'])

# Best Penalty: l1 #Result
# Best C: 7.742636826811269 # Result

3. Menggunakan Carian Rawak.

Ini biasanya digunakan apabila anda mahukan kaedah pengiraan yang lebih murah daripada carian menyeluruh untuk memilih model terbaik.

Perlu diambil perhatian bahawa sebab RandomizedSearchCV sememangnya tidak lebih pantas daripada GridSearchCV, tetapi ia sering mencapai prestasi yang setanding dengan GridSearchCV dalam masa yang singkat hanya dengan menguji lebih sedikit kombinasi.

Cara RandomizedSearchCV berfungsi:

1. Pengguna akan membekalkan hiperparameter / taburan (cth normal, seragam).
2. Algoritma akan mencari secara rawak ke atas nombor tertentu gabungan rawak bagi nilai hiperparameter yang diberikan tanpa penggantian.

Contoh

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create logistic regression
logistic = linear_model.LogisticRegression(max_iter=500, solver='liblinear')

# Create range of candidate regularization penalty hyperparameter values
penalty = ['l1', 'l2']

# Create distribution of candidate regularization hyperparameter values
C = uniform(loc=0, scale=4)

# Create hyperparameter options
hyperparameters = dict(C=C, penalty=penalty)

# Create randomized search
randomizedsearch = RandomizedSearchCV(
logistic, hyperparameters, random_state=1, n_iter=100, cv=5, verbose=0,
n_jobs=-1)

# Fit randomized search
best_model = randomizedsearch.fit(features, target)

# Print best model
print(best_model.best_estimator_)

# LogisticRegression(C=1.668088018810296, max_iter=500, penalty='l1',
solver='liblinear') #Result.

Mendapatkan model terbaik:

# View best hyperparameters
print('Best Penalty:', best_model.best_estimator_.get_params()['penalty'])
print('Best C:', best_model.best_estimator_.get_params()['C'])

# Best Penalty: l1 # Result
# Best C: 1.668088018810296 # Result

Nota: Bilangan model calon yang dilatih dinyatakan dalam tetapan n_iter (bilangan lelaran).

4. Memilih Model Terbaik daripada Pelbagai Algoritma Pembelajaran.

Dalam bahagian ini, kita akan melihat cara memilih model terbaik dengan mencari pelbagai algoritma pembelajaran dan hiperparameter masing-masing.

Kita boleh melakukannya dengan hanya mencipta kamus algoritma pembelajaran calon dan hiperparameternya untuk digunakan sebagai ruang carian GridSearchCV.

Langkah:

1. Kami boleh menentukan ruang carian yang merangkumi dua algoritma pembelajaran.
2. Kami menentukan hiperparameter dan kami mentakrifkan nilai calonnya menggunakan format pengelas[nama hiperparameter]_.

# Load libraries
import numpy as np
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline

# Set random seed
np.random.seed(0)

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create a pipeline
pipe = Pipeline([("classifier", RandomForestClassifier())])

# Create dictionary with candidate learning algorithms and their hyperparameters
search_space = [{"classifier": [LogisticRegression(max_iter=500,
solver='liblinear')],
"classifier__penalty": ['l1', 'l2'],
"classifier__C": np.logspace(0, 4, 10)},
{"classifier": [RandomForestClassifier()],
"classifier__n_estimators": [10, 100, 1000],
"classifier__max_features": [1, 2, 3]}]

# Create grid search
gridsearch = GridSearchCV(pipe, search_space, cv=5, verbose=0)

# Fit grid search
best_model = gridsearch.fit(features, target)

# Print best model
print(best_model.best_estimator_)

# Pipeline(steps=[('classifier',
                 LogisticRegression(C=7.742636826811269, max_iter=500,
                      penalty='l1', solver='liblinear'))])

Model terbaik:
Selepas carian selesai, kita boleh menggunakan best_estimator_ untuk melihat algoritma pembelajaran dan hiperparameter model terbaik.

5. Memilih Model Terbaik Semasa Prapemprosesan.

Kadangkala kami mungkin mahu memasukkan langkah prapemprosesan semasa pemilihan model.
Penyelesaian terbaik ialah membuat saluran paip yang merangkumi langkah prapemprosesan dan mana-mana parameternya:

Cabaran Pertama:
GridSeachCv menggunakan pengesahan silang untuk menentukan model dengan prestasi tertinggi.

Walau bagaimanapun, dalam pengesahan silang, kami berpura-pura bahawa lipatan yang dihulurkan sebagai set ujian tidak dilihat, dan dengan itu bukan sebahagian daripada memasang sebarang langkah prapemprosesan (cth. penskalaan atau penyeragaman).

Atas sebab ini langkah prapemprosesan mestilah sebahagian daripada set tindakan yang diambil oleh GridSearchCV.

Penyelesaian
Scikit-learn menyediakan FeatureUnion yang membolehkan kami menggabungkan berbilang tindakan prapemprosesan dengan betul.
langkah:

1. We use _FeatureUnion _to combine two preprocessing steps: standardize the feature values(StandardScaler) and principal component analysis(PCA) - this object is called the preprocess and contains both of our preprocessing steps.
2. Next we include preprocess in our pipeline with our learning algorithm.

This allows us to outsource the proper handling of fitting, transforming, and training the models with combinations of hyperparameters to scikit-learn.

Second Challenge:
Some preprocessing methods such as PCA have their own parameters, dimensionality reduction using PCA requires the user to define the number of principal components to use to produce the transformed features set. Ideally we would choose the number of components that produces a model with the greatest performance for some evaluation test metric.
Solution.
In scikit-learn when we include candidate component values in the search space, they are treated like any other hyperparameter to be searched over.

# Load libraries
import numpy as np
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# Set random seed
np.random.seed(0)

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create a preprocessing object that includes StandardScaler features and PCA
preprocess = FeatureUnion([("std", StandardScaler()), ("pca", PCA())])

# Create a pipeline
pipe = Pipeline([("preprocess", preprocess),
               ("classifier", LogisticRegression(max_iter=1000,
               solver='liblinear'))])

# Create space of candidate values
search_space = [{"preprocess__pca__n_components": [1, 2, 3],
"classifier__penalty": ["l1", "l2"],
"classifier__C": np.logspace(0, 4, 10)}]

# Create grid search
clf = GridSearchCV(pipe, search_space, cv=5, verbose=0, n_jobs=-1)

# Fit grid search
best_model = clf.fit(features, target)

# Print best model
print(best_model.best_estimator_)

# Pipeline(steps=[('preprocess',
     FeatureUnion(transformer_list=[('std', StandardScaler()),
                                    ('pca', PCA(n_components=1))])),
    ('classifier',
    LogisticRegression(C=7.742636826811269, max_iter=1000,
                      penalty='l1', solver='liblinear'))]) # Result

After the model selection is complete we can view the preprocessing values that produced the best model.

Preprocessing steps that produced the best modes

# View best n_components

best_model.best_estimator_.get_params() 
# ['preprocess__pca__n_components'] # Results

5. Speeding Up Model Selection with Parallelization.

That time you need to reduce the time it takes to select a model.
We can do this by training multiple models simultaneously, this is done by using all the cores in our machine by setting n_jobs=-1

# Load libraries
import numpy as np
from sklearn import linear_model, datasets
from sklearn.model_selection import GridSearchCV

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create logistic regression
logistic = linear_model.LogisticRegression(max_iter=500, 
                                           solver='liblinear')

# Create range of candidate regularization penalty hyperparameter values
penalty = ["l1", "l2"]

# Create range of candidate values for C
C = np.logspace(0, 4, 1000)

# Create hyperparameter options
hyperparameters = dict(C=C, penalty=penalty)

# Create grid search
gridsearch = GridSearchCV(logistic, hyperparameters, cv=5, n_jobs=-1, 
                             verbose=1)

# Fit grid search
best_model = gridsearch.fit(features, target)

# Print best model
print(best_model.best_estimator_)

# Fitting 5 folds for each of 2000 candidates, totalling 10000 fits
# LogisticRegression(C=5.926151812475554, max_iter=500, penalty='l1',
                                                  solver='liblinear')

6. Speeding Up Model Selection ( Algorithm Specific Methods).

This a way to speed up model selection without using additional compute power.

This is possible because scikit-learn has model-specific cross-validation hyperparameter tuning.

Sometimes the characteristics of a learning algorithms allows us to search for the best hyperparameters significantly faster.

Example:
LogisticRegression is used to conduct a standard logistic regression classifier.
LogisticRegressionCV implements an efficient cross-validated logistic regression classifier that can identify the optimum value of the hyperparameter C.

# Load libraries
from sklearn import linear_model, datasets

# Load data
iris = datasets.load_iris()
features = iris.data
target = iris.target

# Create cross-validated logistic regression
logit = linear_model.LogisticRegressionCV(Cs=100, max_iter=500,
                                            solver='liblinear')

# Train model
logit.fit(features, target)

# Print model
print(logit)

# LogisticRegressionCV(Cs=100, max_iter=500, solver='liblinear')

Note:A major downside to LogisticRegressionCV is that it can only search a range of values for C. This limitation is common to many of scikit-learn's model-specific cross-validated approaches.

I hope this Article was helpful in creating a quick overview of how to select a machine learning model.

Atas ialah kandungan terperinci Pemilihan Model ML.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!