Proses carian grid untuk mengoptimumkan parameter svm

SVM ialah algoritma pembelajaran seliaan klasik yang biasa digunakan untuk masalah klasifikasi dan regresi. Idea teras adalah untuk memisahkan kategori data yang berbeza dengan mencari hyperplane yang optimum. Untuk mengoptimumkan lagi prestasi model SVM, carian grid sering digunakan untuk pengoptimuman parameter. Carian grid mencuba kombinasi parameter yang berbeza untuk mencari gabungan parameter optimum untuk meningkatkan prestasi model. Proses ini boleh membantu kami melaraskan hiperparameter model dengan berkesan untuk mencapai hasil ramalan yang lebih baik.

Proses terperinci carian grid SVM akan diperkenalkan di bawah.

Pertama sekali, kami mula-mula memahami bahawa terdapat dua parameter utama dalam algoritma SVM: C dan gamma.

1.C parameter

Parameter C ialah pekali penalti SVM Semakin kecil nilainya, semakin tinggi toleransi model terhadap salah klasifikasi dan ia cenderung untuk memilih selang yang lebih besar dan bukannya mengejar pengelasan sempurna. . Semakin besar C, semakin kurang toleransi model untuk salah klasifikasi, dan ia cenderung untuk memilih selang yang lebih kecil untuk mengejar ketepatan pengelasan yang lebih tinggi.

2.gamma parameter

gamma ialah parameter fungsi kernel, yang mengawal pengedaran titik data dalam ruang dimensi tinggi. Lebih besar gamma, lebih baik model sesuai dengan set latihan, tetapi lebih lemah keupayaan generalisasinya untuk data yang tidak diketahui. Lebih kecil gamma, lebih baik kebolehan generalisasi model untuk data yang tidak diketahui, tetapi ia mungkin membawa kepada overfitting data latihan.

SVM carian grid ialah kaedah carian parameter menyeluruh Ia menguji kombinasi parameter yang berbeza untuk mencari gabungan parameter optimum untuk meningkatkan prestasi model. Proses carian grid SVM adalah seperti berikut:

1 Tentukan julat carian parameter

Pertama, anda perlu menjelaskan julat parameter yang hendak dicari. Untuk parameter C dan gamma, julat boleh ditakrifkan, seperti [0.1,1,10]. Julat ini boleh dilaraskan mengikut keadaan sebenar.

2. Bina kombinasi parameter

Gabungkan julat parameter yang ditentukan untuk mendapatkan semua gabungan parameter yang mungkin. Sebagai contoh, untuk julat parameter C dan gamma [0.1,1,10], terdapat 9 kombinasi iaitu (0.1,0.1), (0.1,1), (0.1,10), (1,0.1), (1). ,1),(1,10),(10,0.1),(10,1),(10,10).

3. Model latihan dan menilai prestasi

Untuk setiap kombinasi parameter, gunakan kaedah pengesahan silang untuk latihan model dan penilaian prestasi. Bahagikan data latihan kepada subset K, gunakan subset K-1 untuk latihan setiap kali, dan subset yang selebihnya digunakan untuk mengesahkan prestasi model. Pengesahan silang boleh membantu mengurangkan risiko pemasangan lampau dan meningkatkan kebolehpercayaan model.

4 Pilih parameter optimum

Mengikut keputusan pengesahan silang, pilih kombinasi parameter dengan prestasi terbaik sebagai parameter optimum. Penunjuk seperti ketepatan, ketepatan, ingat semula dan nilai F1 biasanya digunakan untuk menilai prestasi model.

5 Gunakan parameter optimum untuk ramalan

Gunakan kombinasi parameter optimum yang dipilih untuk melatih model dan membuat ramalan. Gabungan parameter optimum boleh meningkatkan prestasi model dan meningkatkan keupayaan generalisasi model kepada data yang tidak diketahui.

Berikut ialah kod sampel untuk melaksanakan carian grid SVM menggunakan Python. Kami akan menggunakan perpustakaan scikit-learn untuk membina model SVM dan melakukan carian grid. Di sini diandaikan bahawa kami telah mengimport perpustakaan dan set data yang diperlukan.

# 导入必要的库
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

# 定义要搜索的参数范围
param_grid = {'C': [0.1, 1, 10],
              'gamma': [0.1, 1, 10]}

# 初始化SVM模型
svm = SVC()

# 构建网格搜索对象
grid_search = GridSearchCV(svm, param_grid, cv=5)

# 进行网格搜索
grid_search.fit(X_train, y_train)

# 输出最优参数和最优得分
print("Best parameters: {}".format(grid_search.best_params_))
print("Best cross-validation score: {:.2f}".format(grid_search.best_score_))

Penjelasan kod:

1) Mula-mula tentukan julat parameter param_grid yang hendak dicari, di mana C dan gamma mengambil nilai masing-masing 0.1, 1 dan 10.

2) Kemudian model SVM svm dimulakan.

3) Kemudian gunakan GridSearchCV untuk membina objek carian grid grid_search. Antaranya, parameter cv menentukan kaedah pengesahan silang yang digunakan, dan pengesahan silang 5 kali ganda dipilih di sini.

4) Akhir sekali, panggil kaedah muat untuk melakukan carian grid untuk mendapatkan parameter optimum dan skor optimum.

Perlu diingatkan bahawa set data X_train dan y_train di sini sepatutnya telah dipraproses. Jika prapemprosesan diperlukan, anda boleh menggunakan fungsi prapemprosesan dalam perpustakaan scikit-learn, seperti StandardScaler untuk penyeragaman.

Selain itu, anda boleh menambah parameter lain pada GridSearchCV, seperti n_jobs untuk menentukan bilangan teras CPU yang digunakan, verbose untuk menentukan tahap maklumat terperinci output, dsb.

Ringkasnya, carian grid SVM ialah kaedah pengoptimuman parameter yang biasa digunakan Ia menguji kombinasi parameter yang berbeza untuk mencari gabungan parameter optimum untuk meningkatkan prestasi model. Apabila melakukan carian grid, anda perlu memberi perhatian kepada isu seperti prapemprosesan data, kos pengiraan, pemilihan julat parameter dan pemilihan pengesahan silang untuk memastikan kebolehpercayaan dan ketepatan keputusan.

Atas ialah kandungan terperinci Proses carian grid untuk mengoptimumkan parameter svm. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!