Penalaan hiperparameter pembelajaran mesin: lapan kaedah yang biasa digunakan

Algoritma pembelajaran mesin memerlukan input yang ditentukan pengguna untuk mencapai keseimbangan antara ketepatan dan keluasan. Proses ini dipanggil penalaan hiperparameter. Terdapat pelbagai alat dan kaedah untuk menala hiperparameter.

Kami telah menyusun senarai lapan kaedah teratas untuk menala hiperparameter model pembelajaran mesin.

1. Pengoptimuman Bayesian

Pengoptimuman Bayesian telah menjadi alat yang berkesan untuk pelarasan hiperparameter algoritma pembelajaran mesin, lebih khusus, untuk model kompleks seperti rangkaian saraf dalam. Ia menyediakan rangka kerja yang cekap untuk mengoptimumkan fungsi kotak hitam yang mahal tanpa mengetahui bentuknya. Ia telah digunakan dalam banyak bidang, termasuk pembelajaran mekanik robot optimum, reka bentuk percubaan jujukan, dan reka bentuk gen sintetik.

2. Algoritma Genetik

Algoritma genetik (EA) ialah algoritma pengoptimuman yang berfungsi dengan mengubah suai set penyelesaian calon (populasi) mengikut peraturan tertentu yang dipanggil operator. Salah satu kelebihan utama EA ialah keluasannya: ini bermakna EA boleh digunakan dalam pelbagai keadaan kerana ia mudah dan bebas daripada masalah asas. Algoritma genetik telah ditunjukkan berprestasi lebih baik daripada teknik carian grid berasaskan ketepatan/kelajuan dalam masalah penalaan hiperparameter.

3. Pengoptimuman berasaskan kecerunan

Pengoptimuman berasaskan kecerunan ialah kaedah mengoptimumkan berbilang hiperparameter berdasarkan kriteria pemilihan model pembelajaran mesin berbanding dengan pengiraan kecerunan hiperparameter. Kaedah penalaan hiperparameter ini boleh digunakan apabila beberapa syarat kebolehbezaan dan kesinambungan kriteria latihan dipenuhi.

4. Carian grid

Carian grid ialah kaedah asas untuk penalaan hiperparameter. Ia melakukan carian menyeluruh ke atas set hiperparameter yang ditentukan pengguna. Kaedah ini adalah yang paling langsung dan membawa kepada ramalan yang paling tepat. Menggunakan kaedah penalaan ini, pengguna boleh mencari kombinasi terbaik. Carian grid berfungsi untuk beberapa hiperparameter, tetapi ruang carian adalah terhad.

5.Keras Tuner

Keras Tuner ialah perpustakaan yang membolehkan pengguna mencari hiperparameter optimum untuk pembelajaran mesin atau model pembelajaran mendalam. Pustaka ini membantu dalam mencari saiz kernel, kadar pembelajaran yang dioptimumkan dan hiperparameter yang berbeza. Penala Keras boleh digunakan untuk mendapatkan parameter optimum untuk pelbagai model pembelajaran mendalam untuk mencapai ketepatan tertinggi.

6. Pengoptimuman berasaskan populasi

Kaedah berasaskan populasi pada asasnya adalah satu siri kaedah berdasarkan carian rawak (seperti algoritma genetik). Salah satu kaedah berasaskan populasi yang paling banyak digunakan ialah Latihan Berasaskan Populasi (PBT) yang dicadangkan oleh DeepMind. PBT ialah pendekatan unik dalam dua aspek:

• Ia membenarkan penggunaan hiperparameter penyesuaian semasa latihan
• Ia menggabungkan carian selari dan pengoptimuman berjujukan

7 .ParamILS

ParamILS (carian tempatan berulang dalam ruang konfigurasi parameter) ialah kaedah carian tempatan rawak am untuk konfigurasi algoritma automatik. ParamILS ialah kaedah konfigurasi algoritma automatik yang memudahkan pembangunan algoritma berprestasi tinggi dan aplikasinya.

ParamILS dimulakan dengan tetapan lalai dan rawak serta menggunakan penambahbaikan pertama berulang sebagai proses carian tempatan tambahan. Ia juga menggunakan bilangan tetap pergerakan rawak untuk gangguan dan sentiasa menerima konfigurasi parameter yang lebih baik atau sama baiknya, tetapi secara rawak memulakan semula carian.

8. Carian rawak

Carian rawak boleh dikatakan sebagai peningkatan asas pada carian grid. Kaedah ini merujuk kepada carian rawak untuk hiperparameter ke atas beberapa pengedaran nilai parameter yang mungkin. Proses carian diteruskan sehingga ketepatan yang dikehendaki dicapai. Carian rawak adalah serupa dengan carian grid tetapi telah ditunjukkan untuk mencipta hasil yang lebih baik daripada yang terakhir. Kaedah ini sering digunakan sebagai garis asas untuk HPO untuk mengukur kecekapan algoritma yang baru direka bentuk. Walaupun carian rawak lebih cekap daripada carian grid, ia masih merupakan kaedah yang intensif secara pengiraan.

Atas ialah kandungan terperinci Penalaan hiperparameter pembelajaran mesin: lapan kaedah yang biasa digunakan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!