Vers le monde numérique AGI! L'agent a commencé à jouer à "Red Dead Redemption 2" à partir de zéro

Contrôle informatique général

La révolution de l'information a produit un monde numérique Le monde numérique fournit des données pour la naissance de grands modèles et est également le plus simple à mettre en œuvre l'Intelligence Artificielle générale (AGI). ).

Vers l'AGI dans le monde numérique, l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin, l'Université technologique de Nanyang de Singapour et l'Université de Pékin ont proposé conjointement le Contrôle informatique général (GCC), c'est-à-dire que l'agent intelligent doit examiner le écran comme un humain , effectuez toutes les tâches sur l'ordinateur via le clavier et la souris. Pendant longtemps, la recherche sur l'intelligence artificielle était basée sur les jeux, et GCC fournira un scénario pour la recherche générale sur l'intelligence artificielle et favorisera davantage la mise en œuvre et l'industrialisation de grands modèles et d'agents d'IA.

À cette fin, l'équipe de recherche a proposé

Cradle, un framework d'agent universel contrôlé par ordinateur, qui permet à l'agent de contrôler directement le clavier, la souris et toute interaction logicielle sans s'appuyer sur une API interne, qu'elle soit open source ou source fermée, et peut même jouer à "The Wilderness". Un chef-d'œuvre de jeu commercial AAA comme Red Dead Redemption 2 !

Titre de l'article : Vers un contrôle informatique général : un agent multimodal pour Red Dead Redemption II comme étude de cas

• Lien de l'article : https://arxiv.org/abs/2403.03186
• Projet Page d'accueil : https://baai-agents.github.io/Cradle/
• Lien code : https://github.com/BAAI-Agents/Cradle

Avec le développement de grands modèles De plus en plus de recherches sur l'intelligence artificielle (AI Agents) se concentrent sur le contrôle informatique, notamment la navigation sur le Web, le fonctionnement des smartphones, les jeux, etc. Cependant, les recherches existantes s’appuient sur des API internes pour obtenir des actions prédéfinies d’entrée et de sortie. Pour créer un
agent universel

capable d'effectuer toutes les tâches sur un ordinateur, vous devez utiliser les entrées et sorties les plus courantes et les plus standard pour interagir avec l'ordinateur. Par conséquent, le contrôle informatique universel utilise des entrées et des sorties unifiées, rendant possible l’universalité des agents.

Mais la polyvalence entraîne des difficultés opérationnelles : (1) L'utilisation de l'écran de l'ordinateur comme entrée impose des exigences plus élevées à la capacité de compréhension vidéo de l'agent. Par exemple, puisqu'il n'y a pas d'API interne, les actions doivent être jugées à l'aide d'informations visuelles. l'exécution est réussie ; (2) L'utilisation des opérations du clavier et de la souris comme sortie nécessite que l'agent exige une précision d'opération spatio-temporelle plus élevée. Par exemple, les frappes au clavier et les clics de souris impliquent généralement des dimensions temporelles supplémentaires. Comment résoudre ces problèmes difficiles est le défi de créer des
Agents généraux contrôlés par ordinateur (Agents GCC)

 !

Cradle : Logiciel qui contrôle tout

"L'ordinateur fait référence à tout appareil informatique centré sur l'utilisateur, y compris les PC, les smartphones, les tablettes, etc. Bien que Cradle se concentre sur les opérations du clavier et de la souris, vous pouvez le est facile à étendre aux poignées de contrôle et aux écrans tactiles, etc. module. Le haut degré de polyvalence de Cradle vient de son encapsulation raisonnable et de son abstraction des entrées et sorties d'origine dans le processus d'interaction avec les ordinateurs. Il prend la vidéo affichée à l'écran en entrée, extrait le texte et les informations visuelles pour la prise de décision et émet les signaux de commande du clavier et de la souris dans le système d'exploitation sous-jacent pour interagir avec l'ordinateur, lui permettant d'interagir avec tous les logiciels sans compter sur sur toutes les hypothèses.

"Cradle est principalement composé de 6 modules comprenant la collecte d'informations, l'auto-réflexion, l'inférence de tâches, la gestion des compétences, la planification d'action et le module de mémoire. Son puissant raisonnement décisionnel vient de "réfléchir sur le passé, résumer le présent et planifier le futur""

En même temps, le puissant module de raisonnement décisionnel de Cradle lui permet d'interagir spontanément avec le logiciel et d'accomplir des tâches. Ce processus peut être simplement résumé comme suit : Réfléchir sur le passé, résumer le présent. , et planifier l'avenir.

•  : utilisez des vidéos de processus d'action passés comme entrée, extrayez respectivement le texte clé et les informations visuelles, et utilisez la réflexion pour déterminer si l'action précédente a été exécutée avec succès, si la tâche a été terminée, et comment s'améliorer.
• Résumé maintenant : Après réflexion, résumez la situation actuelle et utilisez-la comme base pour décider s'il faut changer l'objectif de la mission ou modifier le contenu de la mission.
• Planification pour l'avenir : Enfin, générez ou mettez à jour des compétences en fonction de la tâche actuelle et de la situation actuelle, et récupérez les compétences liées à la tâche actuelle à partir des compétences acquises comme alternatives, puis sélectionnez parmi elles les compétences appropriées pour les instancier. les comme actions d'exécution.

Tout en prenant des décisions et en raisonnant, Cradle résumera et conservera périodiquement les informations historiques stockées dans la mémoire contextuelle et les compétences stockées dans la mémoire à long terme. Le cerveau de ce processus est un grand modèle multimodal, tel que GPT-4V, mais Cradle y ajoute des fonctions telles que le résumé, la réflexion et la mémoire, formant un cadre complet d'agent intelligent pour le contrôle informatique général, résolvant efficacement les problèmes d'universalité. .les problèmes provoqués.

Cradle : vous emmène explorer "Red Dead Redemption 2" à partir de zéro

Pour prouver la polyvalence et la puissante capacité de prise de décision du framework, l'équipe de recherche a choisi de déployer Cradle au maximum zones difficiles et rarement explorées Le chef-d'œuvre du jeu commercial AAA "Red Dead Redemption 2". Ils pensent qu'en tant que logiciel le plus difficile à utiliser, si Cradle peut explorer librement et même compléter le scénario principal des jeux 3A, cela montre que le cadre a un grand potentiel pour être généralisé à d'autres jeux et logiciels.

"Contrairement aux jeux open source comme Minecraft, la plupart des jeux commerciaux, en particulier les jeux 3A, ne fournissent pas d'interfaces API internes, ce qui crée des frameworks comme Voyager qui s'appuient sur des API internes pour obtenir des actions prédéfinies d'entrée et de sortie ne pouvant pas être migrées vers d'autres. Dans le jeu"

Basé sur GPT-4V, Cradle peut générer directement les codes exécutables correspondants sous forme de compétences basées sur des invites et des didacticiels dans le jeu, enrichissant sa bibliothèque de compétences étape par étape et les réutilisant dans les jeux suivants. ces compétences .

Après avoir effectué une action incorrecte, Cradle peut découvrir et corriger efficacement l'erreur par réflexion.

Cradle peut non seulement suivre les instructions du jeu pour générer les compétences correspondantes à partir de zéro et compléter le scénario principal de 40 minutes, mais peut également librement explorer, monter à cheval, chasser, combattre, parler aux PNJ, utiliser des accessoires et opérer. les cartes dans le monde ouvert et même les achats en magasin sont un jeu d'enfant. Il s’agit du premier robot capable de jouer à des jeux AAA commerciaux depuis longtemps.

Conclusion

Le code open source Cradle peut être facilement étendu à d'autres logiciels et jeux. L'équipe de recherche a déclaré que pour parvenir à un véritable contrôle informatique universel, Cradle sera porté sur davantage de logiciels et de jeux à l'avenir, et qu'elle encourage également les équipes de recherche/industries concernées à mener des recherches et des explorations plus approfondies. L’objectif est de permettre aux agents intelligents d’interagir avec tous les logiciels, qu’ils soient open source ou fermés, et de s’améliorer continuellement pour atteindre l’universalité, et devenir à terme le berceau de la naissance de l’

intelligence artificielle générale.

"GCC est un berceau pour AGI."

—L'équipe Cradle

Encore une chose : diffusion en direct de l'interprétation de la technologie Cradle

Le 14 mars, de 14h30 à 15h30, le premier auteur de l'article, Tan Weihao, doctorant à Nanyang Université technologique de Singapour, a donné un rapport d'interprétation en ligne. Scannez le code QR ci-dessous pour vous inscrire.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!