L’IA peut « jouer au football », mais les robots IA ne le peuvent pas encore

​En novembre, la Coupe du monde recommencera.

À ce moment-là, peu importe que nous jouions ou non, que nous jouions bien ou pas, beaucoup de gens recommenceront à parler de football.

Pas question, qui appelle le football le sport numéro un au monde.

Mais par rapport à la Coupe du monde, les scientifiques sont plus intéressés par la ligue annuelle de simulation 3D de la Robot Cup.

Il n'y a pas si longtemps, une équipe de recherche de la société britannique d'intelligence artificielle DeepMind a utilisé une version accélérée du cours de sport pour simuler des décennies de matchs de football via des ordinateurs, entraînant l'IA à apprendre à contrôler habilement les joueurs de football humanoïdes numériques.

Des recherches pertinentes ont été publiées dans le magazine "Science·Robotics".

Adresse papier : https://www.science.org/doi/10.1126/scirobotics.abo0235

Évidemment, ce n'est pas la première fois que les "joueurs de football IA" entrent sous les yeux du public .

Un bref historique de l'évolution des joueurs de football IA

Dès 2016, peu de temps après qu'AlphaGo ait vaincu Lee Sedol au Go, Deepmind a commencé à réfléchir à laisser l'IA jouer au football.

En juin de la même année, les chercheurs de DeepMind ont demandé à l'IA de contrôler un objet en forme de fourmi pour chasser le ballon, puis de dribbler le ballon jusqu'à ce qu'il soit envoyé vers le but pour marquer.

Selon David Silver, le chef de l'équipe DeepMind, avec l'aide du nouvel algorithme acteur-critique asynchrone développé par Google, à savoir A3C, l'IA a non seulement achevé le projet, mais n'a pas non plus eu besoin d'inculquer des connaissances en mécanique dans tout le processus.

Cette expérience a donné un bon départ à « AI Football Playing ».

En 2019, DeepMind a formé de nombreux "Joueurs", issus de différents plans d'entraînement, DeepMind a sélectionné parmi eux 10 équipes de football à deux.

Ces 10 équipes ont chacune 25 milliards d'images d'expérience d'apprentissage, et DeepMind a collecté 1 million de jeux à elles deux.

Ensuite, DeepMind met en place l'environnement pour permettre à plusieurs IA de jouer à des matchs de football ensemble, et fixe les règles à l'avance pour récompenser l'ensemble de « l'équipe de football » au lieu d'encourager la performance individuelle d'un certain « joueur IA » pour promouvoir le réussite de toute l’équipe.

DeepMind a ainsi prouvé que les IA peuvent coopérer entre elles.

Il semblait que tout allait bien, mais en 2020, le lecteur IA de DeepMind a eu un problème.

Selon les informations fournies par Brain JiTi, lors d'un match, les robots de football d'un camp se sont alignés pour tirer sur le but, mais le robot gardien ne s'est pas préparé à défendre, mais est tombé au sol et a commencé à se balancer sauvagement. . Levé les jambes.

Pensez-vous que c'est fini ? Trop naïf !

Ensuite, le joueur robot avancé a fait une danse très déroutante, tapant du pied, agitant les mains, et est tombé au sol avec un bruit sourd.

Cette scène a choqué le public : ils ont vu des gens être imprudents, mais ils n'ont jamais vu des gens aussi agressifs !

Pourquoi cela se produit-il ?

Cela commence aussi par le principe qui sous-tend tout cela.

Au début de « AI Playing Football », les chercheurs ont adopté la voie de l'apprentissage par renforcement.

Auparavant, l'apprentissage d'AlphaGo était basé sur un apprentissage supervisé, c'est-à-dire un entraînement via des ensembles de données étiquetés.

Mais cette méthode a des exigences élevées sur la « propreté » des données : une fois qu'il y a un problème avec les données, l'IA fera des erreurs.

En revanche, l'apprentissage par renforcement imite le modèle d'apprentissage humain. L'IA apprend par essais et erreurs. Elle est récompensée si elle a raison et punie si elle a tort, établissant ainsi la connexion correcte.

Cela semble beaucoup plus intelligent que l'apprentissage supervisé traditionnel, mais il présente encore des lacunes.

Par exemple, l'IA aura une mauvaise compréhension des mesures de récompense et de punition, générant ainsi d'étranges stratégies.

OpenAI a autrefois conçu un jeu d'aviron. La tâche initiale de l'IA était de terminer la course.

Les chercheurs ont mis en place deux récompenses, l'une consiste à terminer le jeu et l'autre à collecter des scores dans l'environnement. Le résultat est que l'agent a trouvé une zone et a continué à tourner autour pour "obtenir des points". En fin de compte, il n'a naturellement pas réussi à terminer le jeu, mais son score était plus élevé.

Quels nouveaux tours l'IA a-t-elle joué cette fois-ci

Bien que l'IA ait joué au football et qu'il y ait eu des renversements, les chercheurs n'ont pas abandonné.

Il a été mentionné au début de l’article que l’équipe de recherche de DeepMind a réalisé une nouvelle avancée dans la formation des « joueurs de football IA ».

Selon la description du papier, bien que l'équipe DeepMind ait simplifié les règles du jeu dans cette étude et limité le nombre de joueurs dans les deux équipes à 2-3, les « joueurs de football IA » peuvent réaliser des percées avec le ballon, une confrontation physique, une confrontation précise. tir, etc. action.

Alors, comment les chercheurs ont-ils formé des « joueurs de football IA » ?

En termes simples, il combine apprentissage supervisé et apprentissage par renforcement.

Dans un premier temps, l'IA doit regarder des clips vidéo d'humains jouant au football et apprendre à marcher naturellement, car l'IA ne sait pas quoi faire sur le terrain de football au début.

Dans la deuxième étape, l'IA pratique le dribble et le tir sous l'algorithme d'apprentissage par renforcement.

L'IA peut effectuer ces deux étapes en 24 heures environ.

La troisième étape consiste à s'entraîner sous forme de jeu. Le robot IA réalise un match en 2 contre 2. Cette étape prend 2 à 3 semaines. Elle permet principalement à l'IA d'apprendre le travail en équipe. prédire les passes et autres tâches plus difficiles.

La performance du "joueur de football IA" cette fois-ci rend toujours l'équipe de recherche assez satisfaite.

L'équipe DeepMind estime que cette recherche favorise l'avancement des systèmes artificiels vers une intelligence motrice au niveau humain.

Cependant, l'équipe DeepMind reste encore relativement sobre. Elle sait que cette avancée a encore des limites.

Par exemple, le jeu est en 2v2 au lieu du 11v11 couramment utilisé dans les vrais matchs de football. Cela ne signifie pas que l'IA peut participer à des matchs de football plus complexes.

De plus, même un simple match 2v2 ne peut pas être directement utilisé sur le matériel du robot.

En d’autres termes, les scientifiques n’ont pas encore été capables de construire un robot capable de jouer au football.

Références : https://www.science.org/doi/10.1126/scirobotics.abo0235

https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html? =2

https://www.woshipm.com/ai/3619952.htmlhttp://it.people.com.cn/n1/2016/0622/c1009-28467916.html​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!