Réglage des hyperparamètres du Machine Learning : huit méthodes couramment utilisées

Les algorithmes d'apprentissage automatique nécessitent des entrées définies par l'utilisateur pour atteindre un équilibre entre précision et généralité. Ce processus est appelé réglage des hyperparamètres. Il existe différents outils et méthodes pour régler les hyperparamètres.

Nous avons compilé une liste des huit meilleures méthodes pour régler les hyperparamètres des modèles d'apprentissage automatique.

1. Optimisation bayésienne

L'optimisation bayésienne est devenue un outil efficace pour l'ajustement des hyperparamètres des algorithmes d'apprentissage automatique, plus spécifiquement pour les modèles complexes tels que les réseaux de neurones profonds. Il fournit un cadre efficace pour optimiser les fonctionnalités coûteuses de la boîte noire sans connaître sa forme. Il a été appliqué dans de nombreux domaines, notamment l’apprentissage de la mécanique robotique optimale, la conception d’expériences de séquences et la conception de gènes synthétiques.

2. Algorithme génétique

Un algorithme génétique (EA) est un algorithme d'optimisation qui fonctionne en modifiant un ensemble de solutions candidates (population) selon certaines règles appelées opérateurs. L’un des principaux avantages des EE est leur généralité : cela signifie qu’elles peuvent être utilisées dans un large éventail de conditions car elles sont simples et indépendantes des problèmes sous-jacents. Il a été démontré que les algorithmes génétiques fonctionnent mieux que les techniques de recherche de grille basées sur la précision et la vitesse dans les problèmes de réglage des hyperparamètres.

3. Optimisation basée sur le gradient

L'optimisation basée sur le gradient est une méthode d'optimisation de plusieurs hyperparamètres basée sur des critères de sélection de modèle d'apprentissage automatique en ce qui concerne les calculs de gradient des hyperparamètres. Cette méthode de réglage des hyperparamètres peut être appliquée lorsque certaines conditions de différentiabilité et de continuité des critères de formation sont remplies.

4. Recherche de grille

La recherche de grille est la méthode de base pour le réglage des hyperparamètres. Il effectue une recherche exhaustive sur un ensemble d'hyperparamètres spécifié par l'utilisateur. Cette méthode est la plus directe et conduit aux prédictions les plus précises. Grâce à cette méthode de réglage, les utilisateurs peuvent trouver la meilleure combinaison. La recherche par grille fonctionne pour plusieurs hyperparamètres, mais l'espace de recherche est limité.

5.Keras Tuner

Keras Tuner est une bibliothèque qui permet aux utilisateurs de trouver des hyperparamètres optimaux pour les modèles d'apprentissage automatique ou d'apprentissage profond. Cette bibliothèque aide à trouver les tailles de noyau, les taux d'apprentissage optimisés et différents hyperparamètres. Keras Tuner peut être utilisé pour obtenir des paramètres optimaux pour divers modèles d'apprentissage en profondeur afin d'obtenir la plus grande précision.

6. Optimisation basée sur la population

Les méthodes basées sur la population sont essentiellement une série de méthodes basées sur la recherche aléatoire (telles que les algorithmes génétiques). L’une des méthodes basées sur la population les plus utilisées est la formation basée sur la population (PBT) proposée par DeepMind. PBT est une approche unique sous deux aspects :

• Il permet l'utilisation d'hyperparamètres adaptatifs lors de l'entraînement
• Il combine recherche parallèle et optimisation séquentielle

7. ParamILS

ParamILS (dans l'espace de configuration des paramètres Recherche locale itérative) est un méthode générale de recherche locale stochastique pour la configuration automatique d'algorithmes. ParamILS est une méthode de configuration d'algorithmes automatisée qui facilite le développement d'algorithmes hautes performances et de leurs applications.

ParamILS est initialisé avec des paramètres par défaut et aléatoires et utilise une première amélioration itérative comme processus de recherche locale auxiliaire. Il utilise également un nombre fixe de mouvements aléatoires pour la perturbation et accepte toujours des configurations de paramètres meilleures ou tout aussi bonnes, mais réinitialise la recherche de manière aléatoire.

8. Recherche aléatoire

La recherche aléatoire peut être considérée comme une amélioration fondamentale de la recherche par grille. Cette méthode fait référence à une recherche aléatoire d'hyperparamètres sur une certaine distribution de valeurs de paramètres possibles. Le processus de recherche se poursuit jusqu'à ce que la précision souhaitée soit atteinte. La recherche aléatoire est similaire à la recherche par grille, mais il a été démontré qu'elle crée de meilleurs résultats que cette dernière. Cette méthode est souvent utilisée comme référence par HPO pour mesurer l’efficacité des algorithmes nouvellement conçus. Bien que la recherche aléatoire soit plus efficace que la recherche par grille, elle reste une méthode gourmande en calculs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!