AI a regardé 70 000 heures de vidéos « Minecraft » pour acquérir des compétences humaines avancées. Internaute : c'est tellement douloureux.

Quel niveau l'IA peut-elle atteindre après avoir regardé 70 000 heures de vidéos "Minecraft" ?

Prenons l'exemple de la « pioche en diamant ». Il faut à un joueur humain avancé 20 minutes de clics rapides et environ 24 000 actions pour y parvenir.

Et l’IA d’aujourd’hui peut déjà le gérer facilement.

哐哐Trouvez divers matériaux et effectuez diverses synthèses étape par étape :

Voici MineDojo, l'IA la plus puissante de Minecraft d'OpenAI.

C'est également la première IA au monde capable de créer des "Diamond Tools".

Non seulement cela, mais la construction de "pics de pierre" et de "simples abris" ne pose pas de problème :

Bien sûr, d'autres opérations conventionnelles dans "Minecraft" sont également facilement gérées par MineDojo.

Par exemple, nager, chasser, sauter sur un pilier, etc. :

Quant à la raison pour laquelle OpenAI veut que l'IA acquière ces compétences, le chercheur Bowen Baker a déclaré :

C'est en grande partie parce que nous simulons le comportement humain lorsque nous surfons sur le Internet.

Comment est fabriqué MineDojo ?

Comme nous venons de le mentionner, la « façon de pratiquer » MineDojo est de regarder des vidéos.

Ces contenus vidéo sont publiés par des joueurs humains sur YouTube pour montrer comment ils jouent à "Minecraft".

Puis, après avoir regardé 70 000 heures de vidéo, cette IA a appris à effectuer diverses tâches dans le jeu.

Cette méthode est généralement appelée apprentissage par imitation, qui consiste à entraîner le réseau neuronal à apprendre en observant le comportement humain.

Bien qu'il y ait eu de nombreuses études sur le sujet auparavant, certains problèmes restent encore à résoudre.

Le « Tagging » en fait partie.

La manière traditionnelle consiste à mettre une étiquette sur chaque action : si vous faites ceci, ceci arrivera, si vous faites cela, cela arrivera.

Mais la conséquence envisageable de cette méthode est que la charge de travail est trop importante, ce qui entraîne moins de données pouvant être utilisées pour la formation.

Par conséquent, les chercheurs d'OpenAI ont adopté une approche différente et ont proposé une idée de recherche différente - Pré-formation vidéo (VPT) :

L'idée centrale de​​cette méthode est de former un autre réseau neuronal, spécialement conçu pour gérer le travail fastidieux « d’étiquetage ».

Pour cela, les chercheurs ont d'abord trouvé un groupe de joueurs et leur ont demandé de jouer d'abord à "Minecraft". Bien sûr, tout en s'amusant, ils ont également dû enregistrer le nombre de clics du clavier et de la souris.

De cette manière, les chercheurs ont d’abord obtenu quelque 2000 heures de données étiquetées.

Sur cette base, ils ont commencé à former un modèle pour faire correspondre les mouvements du clavier et de la souris aux résultats à l'écran -

Par exemple, dans quelles circonstances un clic de souris amènera le personnage du jeu à balancer une hache.

Après avoir entraîné ce modèle, 70 000 heures de vidéos non étiquetées seront introduites ; avec son support, un ensemble de données énorme et utilisable naîtra.

La prochaine étape consiste à revenir à l'idée précédente de l'apprentissage par imitation et à utiliser ces nouvelles données pour entraîner l'IA.

Bien que l'apprentissage par imitation puisse être considéré comme une branche de l'apprentissage par renforcement, les chercheurs d'OpenAI ont découvert que l'IA entraînée par VPT peut accomplir des tâches qui ne peuvent pas être accomplies par l'apprentissage par renforcement seul.

Comme fabriquer des planches de bois et les transformer en table (nécessite environ 970 actions consécutives).

De plus, les chercheurs ont également découvert que si l'apprentissage par imitation et l'apprentissage par renforcement sont combinés, les meilleurs résultats seront obtenus.

S'appuyant sur cette recherche sur "Minecraft", les chercheurs d'OpenAI ont également déclaré :

Notre IA peut également effectuer d'autres tâches, telles que naviguer sur des sites Web avec la souris, réserver des vols ou faire des achats en ligne.

"Minecraft" est devenu un terrain d'essai pour la technologie de l'IA

En fait, le point culminant de la recherche d'OpenAI, à l'exclusion de la méthode VPT elle-même, les deux éléments majeurs de sa recherche - "Minecraft" et les vidéos, ont également fait l'objet de vives discussions. se concentrer.

Une caractéristique majeure du jeu "Minecraft" est son ouverture. Les joueurs peuvent créer de nombreux chefs-d'œuvre inattendus dans ce monde virtuel.

Différent des environnements de jeu précédents dans lesquels l'apprentissage par renforcement entraînait l'IA, la plupart d'entre eux se terminaient par une « victoire ou une perte », mais souvent les capacités de l'IA entraînée plus tard peuvent dépasser cette « limitation ».

Mais il n'y a pas de "gagner ou perdre" dans "Minecraft", l'IA peut ici jouer pleinement son rôle. C'est pourquoi les chercheurs d'OpenAI ont déclaré :

« Minecraft » est un bon domaine expérimental pour entraîner l'IA.

Et cela a également remporté la reconnaissance de NeurIPS - MineDojo a remporté un prix lors de la meilleure conférence de cette année.

Quant au deuxième sujet brûlant de cette étude, la « vidéo », comme l'a déclaré le directeur exécutif de Sony, Peter Stone :

La vidéo est une ressource de formation au potentiel énorme.

Mais il semble que les chercheurs d'OpenAI ne soient pas satisfaits de ce résultat. Ils pensent que la collecte d'un million d'heures de vidéos "Minecraft" rendra leur IA encore meilleure.

Bien sûr, cette recherche a également attiré beaucoup d'attention de la part des internautes, et il y a eu également des discussions intéressantes :

Les gens voulaient rendre l'IA consciente, mais ce n'est qu'après avoir pris conscience qu'ils ont réalisé qu'il fallait les forcer à regarder une si longue vidéo. Assez fatigué.

Adresse papier : https://openai.com/blog/vpt/

​Lien de référence :

[1]https://www.reddit.com/r/technology/comments/z58fmi/a_bot_that_watched_70000_hours_of_minecraft_could /

[2]https://www.youtube.com/watch?v=Z2FsxrRmDPQ[3]https://www.youtube.com/watch?v=fJn9B64Znrk​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!