Le modèle mondial se propage aussi ! L'agent formé s'avère plutôt bon

Les modèles mondiaux offrent un moyen de former des agents d'apprentissage par renforcement de manière sûre et efficace en matière d'échantillonnage. Récemment, les modèles mondiaux ont principalement fonctionné sur des séquences de variables latentes discrètes pour simuler la dynamique environnementale.

Cependant, cette méthode de compression en représentations discrètes compactes peut ignorer les détails visuels qui sont importants pour l'apprentissage par renforcement. D’un autre côté, les modèles de diffusion sont devenus la méthode dominante de génération d’images, posant des défis aux modèles latents discrets.

Promotionnés par ce changement de paradigme, des chercheurs de l'Université de Genève, de l'Université d'Édimbourg et de Microsoft Research ont proposé conjointement un agent d'apprentissage par renforcement formé dans un modèle mondial de diffusion - DIAMOND (DIffusion As a Model Of eNvironment Dreams).

• Adresse papier : https://arxiv.org/abs/2405.12399
• Adresse du projet : https://github.com/eloialonso/dia monde
• Titre de l'article : Diffusion pour la modélisation mondiale : les détails visuels comptent dans Atari

Sur le benchmark Atari 100k, DIAMOND+ a atteint un score humain normalisé (HNS) moyen de 1,46. Cela signifie qu'un agent formé au modèle mondial peut être entièrement formé au niveau SOTA d'un agent formé au modèle mondial. Cette étude fournit une analyse de stabilité pour illustrer que les choix de conception DIAMOND sont nécessaires pour garantir la stabilité efficace à long terme du modèle mondial diffusif.

En plus de l'avantage d'opérer dans l'espace image, cela permet au modèle du monde diffus de devenir une représentation directe de l'environnement, offrant ainsi une compréhension plus profonde du modèle du monde et du comportement des agents. L’étude a notamment révélé que les améliorations des performances dans certains jeux résultent d’une meilleure modélisation des détails visuels clés.

Introduction à la méthode

Ensuite, cet article présente DIAMOND, un agent d'apprentissage par renforcement formé dans un modèle mondial de diffusion. Plus précisément, nous nous basons sur les coefficients de dérive et de diffusion f et g introduits dans la section 2.2, qui correspondent à un choix spécifique de paradigme de diffusion. De plus, cette étude a également choisi la formulation EDM basée sur Karras et al.

Définissez d'abord un noyau de perturbation, , où est une fonction à valeur réelle liée au temps de diffusion, appelée programme de bruit. Cela correspond à fixer les coefficients de dérive et de diffusion à et .

Utilisez ensuite le prétraitement de réseau introduit par Karras et al. (2022), tout en paramétrant dans l'équation (5) comme la somme pondérée des observations bruyantes et des valeurs prédites du réseau neuronal  :

Obtenir la formule (6)

où, par souci de définition concise, inclut toutes les variables de condition.

Sélection du préprocesseur. Les préprocesseurs et sont choisis pour maintenir la variance unitaire de l'entrée et de la sortie du réseau à n'importe quel niveau de bruit . est la conversion empirique du niveau de bruit, est donné par et l'écart type de la distribution des données , et la formule est

En combinant les formules 5 et 6, nous obtenons l' objectif d'entraînement :

Cette étude conditionne le modèle en utilisant le standard U-Net 2D pour construire le champ vectoriel et en conservant un tampon contenant les L observations et actions passées. Ensuite, ils ont concaténé ces observations passées par canal avec l'observation bruyante suivante et ont introduit les actions dans le bloc résiduel d'U-Net via une couche de normalisation de groupe adaptative. Comme indiqué à la section 2.3 et à l'annexe A, il existe de nombreuses méthodes d'échantillonnage possibles pour générer la prochaine observation à partir d'un modèle de diffusion entraîné. Bien que la base de code publiée par l'étude prenne en charge plusieurs schémas d'échantillonnage, l'étude a révélé que les méthodes d'Euler sont efficaces sans nécessiter de NFE supplémentaire (nombre d'évaluations de fonctions) et en évitant la complexité inutile des échantillonneurs d'ordre supérieur ou de l'échantillonnage aléatoire efficace.

Expériences

Pour évaluer pleinement DIAMOND, l'étude a utilisé le benchmark bien établi Atari 100k, qui comprend 26 jeux pour tester les larges capacités de l'agent. Pour chaque jeu, l'agent n'avait droit qu'à 100 000 actions dans l'environnement, ce qui équivaut à peu près à 2 heures de temps de jeu humain, pour apprendre à jouer au jeu avant d'être évalué. Pour référence, un agent Atari sans contraintes est généralement formé pour 50 millions d'étapes, ce qui correspond à une expérience 500 fois supérieure. Les chercheurs ont entraîné DIAMOND à partir de zéro pour chaque jeu en utilisant 5 graines aléatoires. Chaque exécution a utilisé environ 12 Go de VRAM et a pris environ 2,9 jours (1,03 années GPU au total) sur un seul Nvidia RTX 4090.

Le tableau 1 compare différents scores pour la formation d'un agent dans le modèle mondial :

Les intervalles de confiance moyens et IQM (moyenne interquartile) sont fournis dans la figure 2 :

Les résultats montrent que DIAMOND obtient de bons résultats par rapport aux benchmarks, surpassant les joueurs humains dans 11 matchs et atteignant un score HNS de 1,46, un nouveau record pour un agent entièrement formé sur un modèle mondial. L'étude a également révélé que DIAMOND fonctionne particulièrement bien dans les environnements où les détails doivent être capturés, comme Astérix, Breakout et Road Runner.

Afin d'étudier la stabilité des variables de diffusion, cette étude a analysé la trajectoire imaginée générée par autorégression, comme le montre la figure 3 ci-dessous :

L'étude a révélé qu'il existe des situations dans lesquelles des solveurs itératifs sont nécessaires pour conduire le processus d'échantillonnage vers des modes spécifiques, comme le jeu de boxe illustré à la figure 4 :

illustré à la figure 5 par rapport à la trajectoire imaginées par IRIS, les trajectoires imaginées par DIAMOND ont généralement une qualité visuelle supérieure et sont plus cohérentes avec l'environnement réel.

Les lecteurs intéressés peuvent lire le texte original de l'article pour en savoir plus sur le contenu de la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!