L’apprentissage par renforcement est-il exagéré ?

​Traducteur | Li Rui

Critique | Sun Shujuan​

D'accordImaginez que vous vous préparez à jouer aux échecs avec vos amis, mais ce n'est pas un humain , mais un programme informatique qui ne comprendles règles du jeu. Mais cette application comprend qu'elle s'efforce d'atteindre un objectif, qui est de gagner dans le jeu. ​

Parce que le programme informatique ne connaît pas les règles, les mouvements

avec lesquels vous commencez à jouer aux échecs sont aléatoires. Certaines de ces astuces n'ont aucun sens et il vous sera facile de gagner. Supposons ici que vous aimez tellement jouer aux échecs avec cet ami que vous êtes accro à ce jeu. ​

Mais le

programme informatique finira par gagner car il apprendra progressivement des moyens et des astuces pour vous vaincrecompte. Bien que ce scénario hypothétique puisse sembler tiré par les cheveux, il devrait vous donner une compréhension de base du fonctionnement général de l'apprentissage par renforcement (un domaine de l'apprentissage automatique). ​

Dans quelle mesure l'apprentissage par renforcement est-il intelligent ? ​

L'intelligence humaine englobe de nombreuses caractéristiques, notamment l'acquisition de connaissances, le désir d'élargir les capacités intellectuelles et la pensée intuitive. L'intelligence humaine a été mise en doute lorsque le champion d'échecs Garry Kasparov a perdu contre un ordinateur IBM appelé Deep Blue. En plus d’attirer l’attention du public, les scénarios apocalyptiques décrivant un avenir dans lequel les robots dirigeraient l’humanité ont également dominé la conscience dominante.

​

Cependant

, "Deep Blue"

n'est pas un adversaire ordinaire. Jouer aux échecs avec ce programme de calcul , c'est comme jouer aux échecs avec un vieux homme de mille ans, qui joue aux échecs non-stop tous sa vie . Mais "Deep Blue" est doué pour jouer à un jeu spécifique, pas pour d'autres activités intellectuelles comme jouer d'un instrument, écrire un livre, mener des expériences scientifiques, élever des enfants ou réparer des voitures. ​Ce n'est certainement pas destiné à minimiser

les réalisations

de "Deep Blue" . Contrairement à , l'idée selon laquelle les ordinateurs peuvent surpasser les humains en termes de capacités intellectuelles nécessite un examen attentif, en commençant par une analyse du fonctionnement de l'apprentissage par renforcement . ​Comment fonctionne l'apprentissage par renforcement​Comme mentionné

sur

, l'apprentissage par renforcement est un sous-ensemble de l'

apprentissage automatique qui implique comment un agent intelligent agit dans un environnement pour maximiser le concept de récompenses cumulées. ​

En termes simples, les apprentissage par renforcementles robots sont entraînés avec un mécanisme de récompense et de punition, ils seront récompensés pour avoir effectué actions correctes, et les mauvaises actions seront punies pour les mauvaises actions. Apprentissage par renforcement les robots ne « pensent » comment prendre de meilleures actions, ils rendent simplement toutes les actions possibles pour maximiser les chances de succès. ​

Inconvénients de l'apprentissage par renforcement​

Le principal inconvénient de l'apprentissage par renforcement est qu'il nécessite l'utilisation d'une grande quantité de ressources pour atteindre ses objectifs. Le succès de l’apprentissage par renforcement dans le jeu de Go illustre ce point. Il s'agit d'un jeu populaire à deux joueurs où le but est d'occuper le maximum de surface du plateau en utilisant vos pièces tout en évitant de perdre des pièces. ​

AlphaGo Master est un programme informatique qui bat les joueurs humains dans le jeu de Go. Il consomme beaucoup d'argent et de main d'œuvre, notamment de nombreux ingénieurs, une expérience de jeu très riche, ainsi que 256 GPU et 128 000 CPU. ​

Dans le processus d'apprentissage pour gagner le jeu, beaucoup de ressources et d'énergie doivent être investies. Cela soulève la question suivante : est-il raisonnable de concevoir une IA qui ne peut pas penser intuitivement ? La recherche sur l'IA ne devrait-elle pas tenter d'imiter l'intelligence humaine ? L'IA pour Le système se comporte comme un être humain et son utilisation pour résoudre des problèmes complexes nécessite un développement ultérieur. D’un autre côté, l’argument contre l’apprentissage par renforcement est que la recherche sur l’IA devrait se concentrer sur la capacité des machines à faire des choses que seuls les humains et les animaux sont actuellement capables de faire. De ce point de vue, la comparaison entre intelligence artificielle et intelligence humaine est pertinente. ​

Apprentissage par renforcement quantique​L'apprentissage par renforcement est un domaine émergent qui serait capable de résoudre certains des problèmes ci-dessus. L'apprentissage par renforcement quantique (QRL) est une méthode d'accélération du calcul.

​

Premièrement, l'apprentissage par renforcement quantique (QRL) est censé accélérer l'apprentissage en optimisant les phases d'exploration (découverte de la stratégie) et d'exploitation (sélection de la meilleure stratégie). Certaines applications actuelles et l'informatique quantique proposée améliorent les recherches dans les bases de données, factorisent de grands nombres en nombres premiers, etc. ​

Bien que l'apprentissage par renforcement quantique (QRL) n'ait pas émergé de manière révolutionnaire, il promet de résoudre certains des défis majeurs de l'apprentissage par renforcement conventionnel. ​

Business case for Reinforcement Learning​

Comme mentionné ci-dessus, la recherche et le développement en matière d’apprentissage par renforcement sont cruciaux. Voici quelques exemples pratiques d'apprentissage par renforcement issus d'une enquête McKinsey & Company qui peuvent :

​

• Optimisez la conception des semi-conducteurs et des puces, optimisez les processus de fabrication et augmentez la production dans l'industrie des semi-conducteurs. ​
• Augmentez la production des usines, optimisez la logistique pour réduire les déchets et les coûts, et augmentez les bénéfices agricoles. ​
• Réduisez les délais de mise sur le marché des nouveaux systèmes dans l'industrie aérospatiale et de la défense. ​
• Optimisez le processus de conception et améliorez l'efficacité de la production de l'industrie automobile. ​
• Augmentez vos revenus, améliorez l'expérience client grâce à des transactions en temps réel et à des stratégies de tarification, et offrez aux clients une personnalisation avancée des services financiers. ​
• Optimisez la conception de la mine, gérez la production d'électricité, appliquez la planification logistique globale, optimisez les opérations, réduisez les coûts et augmentez la production. ​
• Augmentez la production grâce à une surveillance en temps réel et à un forage précis, optimisez les itinéraires des pétroliers, réalisez une maintenance prédictive et prévenez les pannes d'équipement dans l'industrie pétrolière et gazière. ​
• Faciliter la découverte de médicaments, optimiser les processus de recherche, automatiser la production et optimiser les méthodes biologiques dans l'industrie pharmaceutique. ​
• Optimisez la chaîne d'approvisionnement, mettez en œuvre une modélisation avancée des stocks et fournissez des services personnalisés avancés aux clients du secteur de la vente au détail. ​
• Optimiser et gérer les réseaux, en appliquant la personnalisation client dans le secteur des télécommunications. ​
• Optimisez les itinéraires logistiques de transport, la planification du réseau et les opérations d'entrepôt. ​
• Utilisez des proxys de nouvelle génération pour extraire des données de sites Web. ​

Réflexions sur l'apprentissage par renforcement​

Le pouvoir de l'apprentissage par renforcement est peut-être limité, mais il ne peut être surestimé. De plus, à mesure que les projets de recherche et de développement sur l’apprentissage par renforcement augmentent, les cas d’utilisation potentiels augmentent également dans presque tous les secteurs de l’économie. ​

L'adoption à grande échelle de l'apprentissage par renforcement repose sur plusieurs facteurs, notamment la conception optimale des algorithmes, la configuration de l'environnement d'apprentissage et la disponibilité de la puissance de calcul. ​

Titre original : ​​L'apprentissage par renforcement est-il surfait ?​​, Auteur : Alek Sandras Šulženko​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!