Maison >Périphériques technologiques >IA >Il peut surpasser les humains en deux heures ! Le dernier speedrun IA de DeepMind exécute 26 jeux Atari
L’agent IA de DeepMind se taquine encore !
Regardez ce type nommé BBF. Il a maîtrisé 26 jeux Atari en seulement 2 heures. Son efficacité est comparable à celle des humains, surpassant tous ses prédécesseurs.
Il faut savoir que les agents d'IA ont toujours été efficaces pour résoudre des problèmes grâce à l'apprentissage par renforcement, mais le plus gros problème est que cette méthode est très inefficace et nécessite beaucoup de temps à explorer.
Photos
La avancée apportée par BBF se situe justement en termes d'efficacité.
Pas étonnant que son nom complet puisse être appelé Bigger, Better ou Faster.
Et il peut effectuer une formation sur une seule carte, et les besoins en puissance de calcul sont également considérablement réduits.
BBF a été proposé conjointement par Google DeepMind et l'Université de Montréal. Les données et le code sont actuellement open source.
La valeur utilisée pour évaluer les performances des jeux BBF est appelée IQM.
IQM est un score complet de performances de jeu à multiples facettes. Les scores IQM présentés dans cet article sont normalisés sur la base des humains.
Par rapport à plusieurs résultats précédents, BBF a obtenu le score IQM le plus élevé dans l'ensemble de données de test Atari 100K contenant 26 jeux Atari.
Et, dans les 26 jeux sur lesquels il a été entraîné, les performances de BBF ont dépassé celles des humains.
Comparé à Eff.Zero, qui fonctionne de manière similaire, BBF consomme près de la moitié du temps GPU.
Quant à SPR et SR-SPR, qui consomment le même temps GPU, leurs performances sont loin derrière BBF.
Photo
Dans des tests répétés, la proportion de BBF atteignant un certain score IQM est toujours restée à un niveau élevé.
Même dans plus d'un huitième du total des tests, il a atteint 5 fois les performances des humains.
Photos
Même avec l'ajout d'autres jeux Atari sans formation, BBF peut atteindre plus de la moitié du score IQM d'un humain.
Si vous regardez uniquement ces 29 jeux non entraînés, le score de BBF est de 40 à 50 % celui des humains.
Photos
Le problème qui anime la recherche BBF est de savoir comment étendre les réseaux d'apprentissage par renforcement profond lorsque la taille de l'échantillon est clairsemée.
Pour étudier ce problème, DeepMind s'est concentré sur le benchmark Atari 100K.
Mais DeepMind a vite découvert que la simple augmentation de la taille du modèle n'améliorait pas ses performances.
Photos
Dans la conception de modèles de deep learning, le nombre de mises à jour par étape (Replay Ratio, RR) est un paramètre important.
Spécifiquement pour les jeux Atari, plus la valeur RR est élevée, plus les performances du modèle dans le jeu sont élevées.
Enfin, DeepMind utilise SR-SPR comme moteur de base, et la valeur RR de SR-SPR peut atteindre jusqu'à 16.
Après un examen approfondi, DeepMind a choisi 8 comme valeur RR de BBF.
Considérant que certains utilisateurs ne sont pas disposés à dépenser le coût informatique de RR=8, DeepMind a également développé la version RR=2 de BBF
Pictures
Après que DeepMind ait modifié de nombreux contenus dans SR-SPR, il a adopté le sien La formation en supervision obtenue par BBF comprend principalement les aspects suivants :
Les résultats expérimentaux d'ablation montrent que dans les conditions de 2 et 8 mises à jour par étape, les facteurs ci-dessus ont différents degrés d'impact sur les performances de BBF.
Photos
Parmi eux, l'impact de la réinitialisation matérielle et de la réduction de la plage de mise à jour est le plus important.
Photos
Pour NoisyNet, qui n'est pas mentionné dans les deux chiffres ci-dessus, l'impact sur les performances du modèle n'est pas significatif.
Photos
Adresse papier : https://arxiv.org/abs/2305.19452Page du projet GitHub : https://github.com/google-research/google-research/tree/master/bigger_better_faster
Lien de référence : [1]https://www.php.cn/link/69b4fa3be19bdf400df34e41b93636a4
[2]https://www.marktechpost.com/2023/06/12/superhuman-performance-on-the -atari-100k-benchmark-the-power-of-bbf-a-new-value-based-rl-agent-from-google-deepmind-mila-and-universite-de-montreal/
— Fin —
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!