Le professeur Wang Jun a organisé 7 chercheurs en IA pour discuter de la théorie et de l'application de l'intelligence artificielle générale après ChatGPT

La popularité de ChatGPT a une fois de plus attiré l'attention des gens sur l'intelligence artificielle. Alors, comment l'intelligence artificielle va-t-elle se développer après ChatGPT ? L'industrie et OpenAI, la société mère de ChatGPT, estiment que l'AGI sera la direction du développement de l'intelligence artificielle à l'avenir.

De quels aspects la recherche théorique et la pratique appliquée en AGI peuvent-elles commencer ? [ChatGPT et cours de printemps sur les grands modèles] La dernière discussion thématique a répondu à cette question. Des universitaires et des experts de l'UCL, de l'Université Renmin de Chine, de Huawei, de Tsinghua, de l'Académie chinoise des sciences, de l'Université Jiao Tong de Shanghai, de l'Université de Nanjing et de l'Université de Liverpool se sont réunis. pour discuter de « l'intelligence artificielle générale après ChatGPT » théorie et applications de l'intelligence ».

Ce qui suit est un résumé des points saillants de la table ronde.

Thème 1 : Nous avons toujours aspiré à l'intelligence artificielle générale, sans avoir besoin de concevoir des algorithmes pour entraîner les machines à des tâches. ChatGPT nous offre-t-il une telle possibilité ? Est-il possible de réaliser un tel rêve ces dernières années ?

Liu Qun : Au début, j'étais un peu dégoûté par le terme « intelligence artificielle générale », car je comprends que c'est un terme plus de science-fiction et qu'il ne semble pas fiable. J'ai donc été réticent à répondre à des questions sur ce concept auparavant. Mais depuis peu, il semble que ce terme soit tout à fait raisonnable. Ce n'est pas de la science-fiction. Les modèles d'intelligence artificielle d'aujourd'hui sont de plus en plus généraux. Dans le passé, ils ne pouvaient gérer que quelques petits problèmes ou un seul problème. Aujourd'hui, ChatGPT peut essentiellement gérer toutes sortes de problèmes. l'intelligence est tout à fait appropriée.

Je n'ose pas juger si l'intelligence artificielle générale sera réalisée, mais dans une certaine mesure, le traitement général du langage naturel a été réalisé. Dans le domaine du langage naturel, il est très compliqué de résoudre n'importe quel petit problème, comme la traduction automatique, l'analyse des sentiments et la segmentation des mots chinois. Cela implique toujours tout, car les mots sont des textes et des symboles. Pour bien faire une petite direction, vous devez comprendre l’ensemble du système linguistique. Par conséquent, la mise en œuvre de la fonction linguistique de ChatGPT est très puissante, en particulier sa capacité de discours. Parce que le discours est un problème très profond et difficile en langage naturel. ChatGPT a très bien appris la structure du discours dans le processus de communication humaine, y compris les routines et le vocabulaire de rédaction d'articles. Il s'agit d'une manière très abstraite de logique et d'organisation des articles. Certains exemples récents montrent qu'il peut simuler la parole humaine et assumer un certain rôle. Il s'agit d'un traitement du langage naturel avec une structure imbriquée, comme ChatGPT, qui permet de changer de sujet sans créer de sujet. désordre.

Wang Jun : Si vous regardez l'apprentissage automatique, son équation objective est très simple : la première est de prédire le mot suivant à partir des mots précédents ; la seconde est de savoir si la réponse à cette phrase est similaire à celle de. un humain ? Ces deux objectifs très simples, pourquoi peut-il apprendre quelque chose qui semble nécessiter beaucoup de logique et de conception à l'avance ?

Liu Qun : Pour atteindre l'objectif, les connaissances complexes utilisées doivent être bien impliquées. Plus les connaissances sont maîtrisées de manière meilleure et approfondie, meilleure est la prédiction. Ainsi, même si l’objectif est simple, les moyens pour y parvenir peuvent être infiniment complexes. Donc pour bien faire les choses, il faut des modèles très puissants et beaucoup de données.

Huang Minlie : Dans le passé, les Chinois n'osaient généralement pas parler du concept d'AGI, et même la définition de l'AGI n'était pas claire. C’est pourquoi nous plaisantons parfois en disant que les scientifiques chinois n’osent pas faire de rêves, car s’ils parlent d’AGI, ils seront aspergés à mort. Les scientifiques étrangers sont en effet très sentimentaux. Par exemple, un professeur du MIT a utilisé un système de dialogue IA pour créer un robot de discussion et un robot de psychothérapie en 1966. Je pense que c'est une chose très difficile. Ils osent le penser et le faire. cela vaut la peine d'apprendre de nous.

Retour à la question, à quelle distance sommes-nous de l'AGI maintenant ? Je pense que d'une manière générale, c'est encore loin. Le niveau d'intelligence qu'incarne actuellement ChatGPT est encore en train de développer l'AGI, mais des choses auxquelles nous n'osons pas penser commencent déjà à prendre forme. Je pense donc qu'il serait peut-être préférable de le dire autrement : ne discutons pas de la capacité d'atteindre l'AGI au sens large, car au sens large, nous pouvons également avoir diverses capacités de réflexion et de généralisation indépendantes. Aujourd’hui, c’est que son niveau d’intelligence global est effectivement au-delà de ce que n’importe quelle IA précédente pouvait atteindre. Son parcours technique est également très différent. La technologie DeepQA développée par IBM Watson est tout à fait traditionnelle et classique. Cette routine de compréhension de l'analyse sémantique consiste à analyser très clairement la structure grammaticale et syntaxique d'une phrase. Elle représente une autre école de pensée académique.

Mais à y regarder aujourd'hui, ChatGPT n'est pas seulement des données, mais aussi le pouvoir reflété dans les données et le modèle, ainsi que la capacité du modèle lui-même à émerger. Je pense donc que c'est la bonne voie vers l'AGI à l'avenir ? Différentes personnes ont des opinions différentes. Je pense que c’est une direction qui mérite d’être essayée, mais ce n’est pas la seule. C'est l'un de mes principaux points : la manière dont cela est appris n'est pas entièrement l'esthétique violente des données et du modèle. Elle reflète toujours la conception de nombreux algorithmes de modèles, en particulier l'alignement avec les données humaines. De nombreux détails d’OpenAI n’ont pas été divulgués, mais je suppose qu’il contient de nombreux traitements de données sophistiqués. Ce que vous voyez maintenant semble être simplement un début avec des données, mais en réalité, ce n'est peut-être pas aussi simple.

Fang Meng : ChatGPT est en effet très puissant Récemment, je lui ai demandé d'écrire du code, et lorsque j'ai exécuté le code écrit par lui directement, j'y ai trouvé un bug. J'ai directement copié les informations de bogue et laissé ChatGPT les gérer, et il m'a recommandé une fonction et un code. Mais cette fonction est obsolète dans la mise à jour de la version. J'ai rapidement trouvé sa mise à jour basée sur la fonction recommandée et j'ai résolu mon problème. Je pense qu'en fait, la personne moyenne n'apprend pas spécifiquement à coder, mais nous devons communiquer. Et ChatGPT gère très bien de nombreuses tâches PNL, prenant presque en compte la plupart des tâches PNL, et semble être une IA universelle. Cependant, le modèle publié par OpenAI est appris sur la base de données antérieures à 2021 et ne peut pas gérer de nouvelles connaissances. D'un point de vue purement PNL, il semble que ce soit un modèle AGI capable de résoudre la plupart des problèmes de recherche en PNL. À l’avenir, nos recherches scientifiques sur la PNL créeront certainement de nombreuses nouvelles questions et exploreront de nouvelles choses. Et si un jour ChatGPT pouvait faire quelque chose de similaire, créant de nouveaux problèmes au lieu de traiter ceux existants. Je pense que cela pourrait être plus proche de l’intelligence artificielle générale dans la mesure où elle peut générer de nouvelles choses par elle-même. Je pense que les compétences qu'il a acquises aujourd'hui reposent encore sur les quantités massives de données du passé. Son modèle de formation dispose d'une grande puissance de calcul et d'une ingénierie sophistiquée. Mais ce n’est peut-être qu’une voie, et il peut y en avoir d’autres. Nous pouvons donc également explorer d’autres voies.

De plus, je réfléchis aussi à une autre question, si on le laisse apprendre les données de 2022, combien de temps avons-nous besoin pour l'entraîner ? Pouvez-vous apprendre comme un humain ? Ou vaut-il mieux apprendre plus vite ? C’est peut-être aussi l’un des points clés de l’intelligence artificielle générale. Les modèles accessibles au public d'OpenAI n'en sont pas encore à ce niveau, mais ils sont effectivement puissants et c'est une avancée importante.

Thème 2 : Quelles sont les lacunes de ChatGPT ? Du point de vue de l’apprentissage automatique, quels aspects peuvent être améliorés pour arriver là où nous voulons qu’il soit ? Ou quelles sont les limites de ses capacités ?

Wen Jirong : Il y a encore des lacunes évidentes. Premièrement, les connaissances de ChatGPT ne sont pas suffisamment en temps réel. Le modèle de langage apprend à la fois les connaissances et les capacités à partir de données massives. Les deux sont unifiées et peuvent être exprimées comme le cerveau humain. Cependant, ces connaissances ont été consolidées au cours de la formation, il y aura donc des situations où de nouvelles données après septembre 2021 seront mises en œuvre pour l'apprentissage. L'ajout de nouveaux éléments nécessite un recyclage, ce qui est très coûteux et n'est pratiquement pas réalisable actuellement. Par conséquent, ChatGPT et Bing sont intégrés pour combiner les résultats de recherche et la génération de contenu basés sur les dernières données du réseau. Après combinaison, il peut être possible de résoudre le problème du temps réel et de l'exactitude des connaissances de ChatGPT. Mais je pense personnellement que cette question n’en est qu’à ses débuts et mérite une étude approfondie. Les données du grand modèle sont statiques et l'ensemble des connaissances Internet ou externes sont dynamiques. Lors de l'utilisation du modèle pour générer des résultats, comment combiner les connaissances internes du modèle avec les connaissances externes pour générer des résultats. Il n’y a pas encore de bonne réponse à cette question, mais si elle est bien faite, elle revêtira une grande importance. Comme nous ne pouvons pas toujours recycler le modèle, nous devons disposer d'un modèle de base stable qui peut être combiné pour effectuer un travail de génération ou d'inférence lorsque des données plus dynamiques ou des connaissances professionnelles dans un domaine arrivent. Deuxièmement, je travaille sur de grands modèles multimodaux depuis plus de deux ans. Comme vous pouvez le constater, GPT-4 propose déjà des modèles multimodaux, ce qui est impressionnant. À l’avenir, je pense que nous devons étudier plus en détail comment plusieurs modalités peuvent bien fonctionner ensemble pour la génération et le raisonnement. C'est quelque chose qui nécessite encore du travail. Troisièmement, je pense que le plus gros problème avec les grands modèles à l'heure actuelle est qu'ils sont trop chers. On dit que seuls des dizaines et des centaines de milliards d'échelles peuvent avoir la capacité d'émerger. Cette question a en fait bloqué la route de la science. communauté de recherche. Si nous n’avons pas de modèle à l’échelle de ChatGPT, ne pourrons-nous pas faire de recherche ? Si nous ne parvenons pas à l’avenir à atteindre des capacités ou des performances relativement élevées sur des modèles modérés, nos recherches scientifiques ultérieures seront très difficiles. Le domaine de la PNL a été considérablement affecté récemment. En fait, la recherche d'informations a également été grandement affectée. Faire un travail de classement traditionnel n'a aucun sens. Maintenant que Bing est une recherche conversationnelle, des recommandations conversationnelles seront bientôt disponibles. Avant que vous ne vous en rendiez compte, la récupération d'informations peut être appelée génération d'informations et le champ devra peut-être être renommé. Un changement radical est en train de s’opérer actuellement. On espère qu'il y aura des avancées dans la plate-forme de recherche à l'avenir. La manière de présenter les capacités du modèle ChatGPT ou GPT-4 actuel sur un modèle à échelle limitée est très importante.

Wang Jun : J'aimerais insérer l'une des solutions. L'open source dans le monde universitaire est peut-être la seule voie à suivre. Si un grand modèle est open source, il peut au moins pré-entraîner le modèle, puis nous pouvons l'ajuster, ou nous pouvons faire des recherches scientifiques dans cette direction. L’industrie invente l’architecture et l’open source favorise son utilisation accrue. Voici quelques questions pour le professeur Li. Bien que ChatGPT présente encore quelques défauts, que pense le professeur Li du passage de l'étude du cerveau humain à l'intelligence artificielle. Quand atteindrons-nous le point où la soi-disant IA surpasse les humains ?

Li Chengyu : Quand j'écoutais la conférence tout à l'heure, ce à quoi j'ai le plus pensé était « l'évolution ». Pourquoi ? L’intelligence artificielle ayant débuté dans les années 1960, elle a évolué très rapidement et constitue un processus d’évolution exponentielle. Nous venons de mentionner l'AGI. En fait, il existe déjà dans l'univers. L'AGI est dans le cerveau humain. C'est une entité physique et un vaste réseau qui peut faire beaucoup de choses, donc les gens eux-mêmes ont l'AGI. Notre cerveau lui-même est un réseau doté de capacités générales, donc en théorie, qu’il s’agisse d’un réseau neuronal biologique ou artificiel, il peut faire beaucoup de choses. En raison de la croissance exponentielle explosive de l’intelligence artificielle, des développements révolutionnaires comme GPT4 ont vu le jour, analogues à l’évolution du cerveau biologique humain. Le cerveau humain possède le plus grand nombre de cerveaux, proportionnellement au corps, parmi toutes les créatures vivantes. Aujourd'hui, le cerveau de la souris compte environ 70 millions de neurones, celui du singe en compte environ 6 milliards et le cerveau humain en compte entre 80 et 100 milliards. Il s'agit également d'une croissance exponentielle. De ce point de vue, la révolution dans l’évolution du GPT est donc très excitante. Personnellement, je vois cela comme une opportunité très importante, permettant à ceux d’entre nous qui font des neurosciences et des sciences du cerveau de réfléchir à la relation entre les cerveaux biologiques et les cerveaux artificiels.

De plus, du point de vue du mécanisme cérébral, je pense qu'il y a beaucoup de choses intéressantes à discuter. Je viens de mentionner le problème selon lequel les grands modèles ne seront pas en mesure d'effectuer un apprentissage continu après la fin 2021. Mais notre cerveau humain est évidemment capable d’apprendre en continu, et nous ne cesserons pas d’apprendre après un certain temps. Mais ce qui est intéressant, c’est qu’il existe certains tissus et zones cérébrales dans notre cerveau qui contrôlent cette capacité. Un exemple est le cas de H.M. hippocampique. Après que les médecins ont retiré l'hippocampe d'un patient épileptique, sa mémoire à long terme s'est arrêtée au moment de l'opération et il n'a pas pu apprendre de nouveaux faits par la suite. Cet exemple est quelque peu similaire au problème dont nous discutons maintenant. La capacité d'apprentissage continu des grands modèles ne peut pas être empruntée aux cerveaux biologiques, je pense donc que c'est une opportunité. Les neurosciences devraient communiquer davantage avec vous pour voir comment extraire le mécanisme de capacité d'apprentissage continu des cerveaux biologiques pour aider à concevoir de nouveaux réseaux neuronaux d'intelligence artificielle. Je pense qu’il s’agit d’un processus de coévolution, et ce processus nous aidera également à comprendre comment le cerveau biologique parvient à un apprentissage continu. Nous ne pensions pas que cette question était importante auparavant, mais je pense maintenant que c'est une chose importante qui nous permet de continuer à faire face à de nouveaux défis.

Nous effectuons actuellement des recherches cartographiques. Il s'agit d'une recherche très fondamentale. Nous devons comprendre quels types de cellules existent dans le cerveau et comment les cellules sont connectées. Cette question n'est pas encore claire dans le domaine biologique du cerveau. mais le réseau d'IA La connexion entre chaque neurone est très claire, donc au cours du processus de recherche actuel, nous travaillons avec des instituts de recherche tels que BGI et l'Université agricole de Huazhong et avons découvert qu'au cours de l'évolution de différentes espèces, l'hippocampe de six espèces ont beaucoup changé. De grande taille, de nombreux nouveaux types de neurones apparaissent et de nombreuses nouvelles zones cérébrales. De nombreuses nouvelles sous-régions sont apparues dans l'hippocampe. Nous avons étudié les tortues, les oiseaux, les souris, les singes et les humains. Dans ce processus, les capacités comportementales humaines continuent d'augmenter. Je pense donc que la complexité et la capacité de ce comportement correspondent à l’émergence de nouvelles cellules dans l’hippocampe. Nous découvrons ces nouvelles cellules.

Je veux parler de ce que nous pouvons faire à l'avenir. Je sens qu'il y a beaucoup de choses à faire ici. Nous changeons également l’orientation de nos recherches. Je pense maintenant que nous pouvons extraire certains principes de la recherche sur les souris et les singes et les appliquer au cerveau humain, qui peut réaliser des fonctions plus complexes avec une faible consommation d'énergie. Bien que Ke Jie ne puisse pas battre AlphaGo aux échecs, Ke Jie n'a besoin de manger que quelques pains et petits pains cuits à la vapeur chaque jour. La consommation d'énergie est extrêmement faible. Les exigences en matière d'agents intelligents iront également dans cette direction, mais l'intelligence artificielle discute GPT. Nous ne pouvons pas encore le résoudre. Ce problème nécessite d’apprendre des organismes vivants du futur pour produire une intelligence physique consommant moins d’énergie.

À l'avenir, il sera nécessaire d'intégrer la perception, la cognition et le mouvement. Maintenant, cette forme n'est pas très capable de contrôler un robot pour se déplacer, mais je pense qu'à l'avenir, il sera peut-être possible de résoudre au moins ce domaine. de perception. Nous comprenons Chat GPT ou GPT4 pour résoudre des problèmes cognitifs, et à l'avenir, il sera connecté au contrôle de mouvement. Je sais que de nombreuses mains de robot de contrôle de mouvement et bras robotiques basés sur des transformateurs se développent constamment. Si la perception, la cognition et le mouvement sont intégrés en un seul, chaque module individuel peut être intégré. Comme tout le monde l'a mentionné, l'intégration interdisciplinaire, je pense que c'est un point très important pour l'avenir. Dans le processus de développement de l'intelligence artificielle, j'espère que la science du cerveau pourra travailler avec tout le monde pour faire des choses plus intéressantes.

Wang Jun : Je voudrais demander à M. Li Le cerveau humain est si complexe et a évolué pendant tant d'années, mais le cerveau n'a aucune fonction de récompense ni aucun BIAIS inductif. Mais lorsque nous faisons du machine learning, nous devons lui donner certaines connaissances ou hypothèses préalables. Il ne peut faire aucune prédiction sans connaissances ou hypothèses préalables. En apprentissage automatique, bien que nous parlions d'intelligence artificielle générale, nous n'avons pas encore réussi à supprimer ces deux prémisses. Mais en regardant le cerveau humain, n'a-t-il aucun mécanisme de récompense ni aucune connaissance préalable. Comment peut-il générer la sagesse actuelle ? ? Mais la technologie actuelle ne permet pas d’y parvenir. Qu'en pense Maître Li ? Qu’en pensent les experts en IA ? Des mécanismes de récompense et des connaissances préalables sont-ils requis ?

Li Chengyu :Permettez-moi de commencer par faire la lumière sur les choses. Premièrement, quant à savoir s'il existe un mécanisme de récompense dans le processus d'évolution, je pense qu'il existe. Plus de 99 % de tous les êtres vivants ont disparu. Cette extinction est une punition, mais l'existence des êtres vivants est une récompense. point de vue, les espèces et les individus ont tous des mécanismes de récompense. Tout le monde a des récompenses et des punitions, et ces processus peuvent modifier la structure et le fonctionnement de notre cerveau. Par conséquent, je pense que des récompenses doivent exister dans l’évolution biologique. Le deuxième est le BIAS que vous venez de mentionner. En fait, les organismes vivants ont également un BIAS. Les enfants naissent avec la cognition, comme les choses qui tombent lorsqu'ils lâchent prise. C'est ce que l'on appelle le BIAS. À notre naissance, le réseau neuronal a subi une évolution à long terme et il existe un certain biais pour la physique externe et le comportement social humain, y compris un intérêt pour des visages spécifiques. L'apprentissage automatique est différent : il nécessite que les gens changent de point de vue de l'extérieur et laissent l'intelligence artificielle jouer aux échecs avec différents agents. Ils généreront leur propre génération, et la génération précédente pourra être utilisée comme son BIAIS. Je pense que cela semble inévitable. Lorsqu'un individu est toujours dans un certain état de tâche, je pense qu'il avancera sur une trajectoire spécifique parmi des espèces concurrentes, et cette trajectoire est encadrée par des entités physiques. Ce cadre doit s'appuyer sur ses limites existantes. Ce n'est qu'avec BIAS qu'il pourra gagner plus rapidement.

Wang Jun : Je voudrais demander si l'IA a la capacité de se conduire elle-même, quand aura-t-elle un concept d'elle-même, évoluera-t-elle d'elle-même et deviendra-t-elle même consciente. Cette conscience est unique aux humains. Ce phénomène est également réalisé par ChatGPT. Est-il conscient et peut-il connaître les pensées des autres ? Mais en fait, il reste simplement dans la liste de textes. Même sous forme de texte, cela ne capture pas nécessairement cette chose à 100 %. Je ne sais pas ce que tout le monde pense de cela. Si AGI n’a pas de soi et de conscience, a-t-elle une fonction de récompense qui lui est donnée par l’extérieur ou peut-elle la générer par elle-même ?

Liu Qun :Laissez-moi vous expliquer un peu ma compréhension. Tout à l'heure, Maître Li a dit que la survie est la récompense ultime. Je suis tout à fait d'accord avec cela. En fait, la récompense ultime des êtres humains est la survie, et tous ses objectifs sont de survivre. Mais dans nos vies, j'aurai l'impression que nous ne faisons pas tout pour survivre, mais en fait, tout cela est une sorte de pression de survie qui finit par se transformer en. Une autre forme d’expression est celle des récompenses. Cela ne semble pas être une question de vie, mais en réalité, cela se résume à la survie. Je pense donc qu’il est difficile pour l’IA actuelle de générer une auto-évolution car elle n’a aucune pression pour survivre. Supposons que vous le mettiez en pleine nature et que vous lui imposiez une limite de puissance de calcul, à moins de créer un environnement dans lequel il peut rivaliser seul, peut-être qu'un jour vous pourrez retirer les cordons d'alimentation des autres et protéger les vôtres.

Li Chengyu : Le problème de la conscience est évidemment un problème très important mais non résolu, mais il n'est pas introuvable actuellement. Il existe de nombreuses méthodes de recherche intéressantes dans le domaine de la conscience. Par exemple, une méthode de recherche intéressante fournit des faibles. stimulation visuelle. Les expérimentateurs rapportent qu'ils peuvent parfois voir, parfois invisible, on peut considérer que la conscience ne rapporte pas qu'elle peut être vue. À ce moment-là, il y a une grande différence dans les activités dans le cerveau. Peut-être que ce type de jeu peut être utilisé pour tester chatGPT ou d'autres réseaux d'intelligence artificielle afin de tester s'ils ont des performances de conscience semblables à celles des humains. Il y a en fait de nombreux débats dans ce domaine, et il n’y a définitivement aucune réponse pour l’instant. Je pense que nous pouvons travailler ensemble parce que nous pouvons faire des recherches dans ce domaine sur le plan biologique. Donnez au singe 50 % de stimuli visibles et 50 % invisibles, observez son activité cérébrale et comparez-la au réseau d'IA.

Thème 3 : Intelligence décisionnelle : Notre robot actuel peut voir et lire, mais il ne peut pas marcher. Comment le faire marcher ?

Yu Yang : ChatGPT ou la récente épidémie de GPT, bien que je sois dans le domaine de la prise de décision par apprentissage par renforcement, je me sens aussi très touché. Dans ce domaine, des recherches sur des modèles à grande échelle sont également menées. Mais heureusement, aucun modèle ne peut remplacer ou écraser l’apprentissage par renforcement. Cela montre également qu’il existe encore un grand écart entre le modèle GPT existant et l’intelligence biologique humaine. Plus précisément, ChatGPT n'a pas la partie modèle mondial. Il n'y a pas de mémoire de travail dans le modèle GPT actuel, seulement du contexte et une saisie rapide. Dans l'étude de l'apprentissage par renforcement, nous avons constaté que ce contexte possède une certaine capacité de mémoire, c'est-à-dire qu'il peut reconnaître et se souvenir des actions passées, de leurs résultats et de la réaction du monde. Mais cette capacité de mémoire n’est peut-être pas forte, car il ne s’agit que d’une séquence linéaire et il n’y a pas d’endroit spécial pour la stocker. Ceci est différent de ce que Maître Li a mentionné précédemment, à savoir que l'hippocampe des organismes vivants est très important pour notre mémoire à court terme. Récemment, nous avons également lu des articles sur la biologie et avons constaté qu'il existe de nombreux contenus intéressants. Il existe un lien très étroit entre l’hippocampe et le modèle mondial, mais ce n’est pas le cas du modèle GPT. Les modèles GPT ne rêvent pas. On voit que lorsqu'une souris rêve, son hippocampe rejoue ce qu'elle a rencontré pendant la journée, ce qui est en fait une manifestation très typique du modèle du monde. Le corps de la souris ne bougeait pas, mais son cerveau oui. Toutes les données qu'il voit sont rejouées dans son cerveau, et selon les résultats de la visualisation, elles ne sont pas classées par ordre chronologique, mais dans l'ordre inverse, de la fin au point de départ. Ceci est similaire à la relecture des données dans l'apprentissage par renforcement. la mémoire est très similaire. Par conséquent, de ce point de vue, le modèle GPT actuel n’est pas suffisamment complet sur le plan fonctionnel. En termes simples, il se peut qu’il ne s’agisse encore aujourd’hui que d’un modèle d’estimation de probabilité dite conjointe. L'hippocampe du rat nous montre que lorsque celui-ci se trouve à la croisée des chemins, son hippocampe se déplace simultanément vers la gauche et la droite, ce qui constitue l'une des zones cérébrales dont il a besoin pour raisonner. Le modèle GPT actuel n'est pas encore à ce niveau, je pense donc que pour prendre de meilleures décisions, le modèle GPT doit être encore optimisé. S’il espère prendre des décisions meilleures que les humains, il lui faudra peut-être encore améliorer la structure sous-jacente.

Bien que les modèles à grande échelle d'aujourd'hui disposent d'un large éventail de connaissances, les modèles à grande échelle ne sont pas encore totalement maîtrisés dans de nombreux domaines professionnels. Dans ces domaines, il existe de nombreuses données qui ne sont pas publiques ou n'existent pas sous forme linguistique. Il peut s'agir de données commerciales ou de données médicales, qui sont des données privées. Nous allons donc encore voir beaucoup de petits traitements de données dans ces domaines, et les petites données ne vont pas disparaître. Je pense que c'est un point très important. Leur relation, peut-être que les grands modèles peuvent nous aider à résoudre des problèmes globaux, mais pour l'analyse des données dans de petits domaines, en particulier ceux impliquant la prise de décision, nous constatons que les petites données et les données fermées existent dans de nombreux domaines, nous ne pouvons donc pas utiliser de grands modèles pour résoudre ces problèmes. Nous pensons que les petits modèles méritent également notre attention, d'autant plus que les grands modèles deviennent de plus en plus performants et que les applications utilisant de petits modèles dans des domaines propriétaires pourraient recevoir davantage d'attention de la part des chercheurs.

Zhang Weinan : Je voudrais dire du point de vue du chemin du feedback, le feedback est ce que Richard Sutton a dit dans la partie avant-gardiste du manuel "Apprentissage par renforcement". Tout au long de notre vie, nous sommes en fait constamment. interagir avec l'environnement, prendre des décisions basées sur les informations que nous percevons. Prendre le contrôle, obtenir des commentaires, et apprendre continuellement dans cette boucle fermée. Pour les commentaires, le chat dans ChatGPT obtiendra effectivement des réponses, mais il aura également besoin d'une fonction de récompense. Nous n’avons pas vraiment une telle chose actuellement, il s’agit plutôt d’un transfert d’État. Mais en fait, la partie récompense pertinente n'est pas directement donnée dans ChatGPT, donc si vous entraînez uniquement ChatGPT, en fait, à l'exception de l'alignement de la dernière personne dans la boucle, les autres parties sont un apprentissage supervisé, c'est-à-dire dans la plupart des cas. Il n'a pas encore appris sous forme de feedback. On peut imaginer que si ChatGPT est désormais utilisé pour appeler des interfaces de prise de décision, comme ChatGPT for Robotics, on peut constater qu'il est effectivement connecté dans une certaine mesure à ces interfaces et peut prendre des décisions correctes, mais ce n'est qu'un extension des capacités cognitives, et la récompense peut être maximisée sans ajuster l'interface pendant le processus de formation. Si la chaîne de feedback est fermée, elle conduira effectivement au développement d’une intelligence décisionnelle vers une meilleure performance. Le point le plus critique n’est pas nécessairement une fonction de récompense soigneusement conçue, mais sa capacité à déterminer si la tâche décisionnelle a été accomplie avec succès. Si le signal de réussite ou d'échec de la tâche de prise de décision peut être renvoyé à ChatGPT, cela formera en fait une boucle fermée pour fournir un retour d'information continu et terminer la tâche de prise de décision de manière totalement spontanée.

Séance de questions et réponses

Q1 : Du point de vue de la réalisation de capacités multimodales, Baidu Wenxin semble être assemblé à travers le modèle de texte Baidu, le modèle de dialogue et les capacités graphiques et textuelles. Pourriez-vous s'il vous plaît expliquer comment intégrer des capacités dispersées dans un grand modèle multimodal ? En quoi cela diffère-t-il de la mise en œuvre de capacités multimodales par GPT4 ?

Zhang Weinan : Tout d'abord, je ne connais pas le design derrière Wenxin, mais j'ai l'impression qu'il est très basé sur le texte et qu'il possède des capacités d'interaction multimodale obtenues en appelant des API. Si le modèle Baidu Wenxin est invité à générer un morceau de discours, il peut d'abord générer du texte, puis appeler l'API pour le lire dans un certain dialecte. Il s’agit en fait d’une capacité d’extension, mais le cœur reste la différence entre un grand modèle de langage et un véritable grand modèle multimodal. Mais ce n’est que ma conjecture, et cela ne signifie pas que la véritable réalisation de Wen Xin est comme ça.

Q2 : Quelle sera la relation entre les grands modèles plus matures et les petits modèles tels que l'apprentissage automatique traditionnel et l'apprentissage profond à l'avenir ?

Yu Yang : Bien que les grands modèles d'aujourd'hui disposent d'un large éventail de connaissances, dans de nombreux domaines professionnels, les grands modèles ne peuvent pas être entièrement maîtrisés. Il existe encore de nombreux domaines dans lesquels les données ne sont pas publiques ou ne sont pas basées sur la langue. Il peut s'agir de données commerciales ou de données médicales, qui sont des données privées. Par conséquent, dans ces domaines, nous pouvons encore assister à de nombreux petits traitements de données. . Les données ne disparaissent pas. Je pense que c'est un point très important, à quoi ressemblera sa relation ? Peut-être que les grands modèles peuvent nous aider à faire des choses globales, mais pour l'analyse des données dans de petits domaines, en particulier la prise de décision, nous constatons que de nombreux domaines sont remplis de petites données et de données fermées, il n'y a donc aucun moyen d'utiliser de grands modèles pour les résoudre. Nous pensons donc que les petits modèles méritent également notre attention, en particulier lorsque les grands modèles deviennent bons. De plus en plus de chercheurs prêteront attention à l'application des petits modèles dans des domaines propriétaires.

Q3 : Je voudrais demander à M. Liu, puisque ChatGPT est un modèle génératif, des informations fictives ou des citations papier apparaissent souvent dans la pratique, que pensez-vous de ce phénomène et que pensez-vous qui pourrait être amélioré. ?

Liu Qun : En fait, le modèle lui-même ne peut pas faire la distinction entre les faits et les non-faits. Par définition, on peut considérer que quelque chose ou un jugement qui apparaît dans les données de pré-entraînement est un fait. S'il n'apparaît pas, ce n'est pas un fait. Mais lorsque le modèle est généré, il ne sait pas qu’ils sont devenus des paramètres du modèle. Il est très courant que certains paramètres du modèle soient cohérents avec les données de pré-entraînement et d'autres non. Donc le modèle lui-même est indiscernable. Mais cette question n’est pas totalement irréprochable. On peut voir que GPT4 a apporté des améliorations pratiques. Cela passe par l’apprentissage, la minimisation des non-faits et la découverte de faits. Mais je pense qu'il est peu probable que le simple fait d'utiliser la méthode de réseau neuronal existante des grands modèles résoudra complètement le problème. Nous devons donc encore explorer d’autres méthodes et recourir à un jugement externe pour résoudre le problème. Cette question est une très bonne question.

Wang Jun : Cette question peut en fait être considérée dans l'autre sens. Pourquoi ? La fiction peut aussi être une bonne chose. Dans certains cas, on leur demande d'écrire de la poésie ou des compositions, en espérant qu'elles contiennent un élément de science-fiction, ce qui rend le problème très difficile. Que vous souhaitiez trouver des faits ou construire des idées est en effet plutôt ambigu, et vous avez besoin d'un objectif pour y parvenir.

Q4 : En tant qu'excellent représentant de l'industrie de l'IA, Huawei développera-t-il ensuite son propre ChatGPT ? En fonction de l'activité actuelle, quelle disposition sera utilisée dans les grands modèles ou les modèles multimodaux ?

Liu Qun : Tout d'abord, Huawei relèvera certainement le défi de front. Nous avons également accumulé beaucoup de choses à cet égard. Il peut être difficile pour moi d'être trop précis sur la planification commerciale spécifique. et la mise en page ici, mais vous avez peut-être remarqué qu'il y en a. Dans un discours de M. Ren, il a mentionné que quelqu'un avait interrogé M. Ren sur ChatGPT. M. Ren avait dit qu'avec ChatGPT, nous ne devrions pas simplement le voir comme un PNL ou un visuel. En fait, il a un grand potentiel, et le plus grand potentiel à l'avenir pourrait ne pas être. En apparence, il peut s'agir d'une combinaison de vision PNL ou de problèmes multimodaux. Il peut être utilisé dans les différentes activités de Huawei, et 80 % de ses applications seront dans certaines activités que vous n'avez peut-être pas imaginées. Je pense que le potentiel est très grand. Huawei relèvera certainement les défis de front et développera ses propres capacités dans ce domaine.

Q5 : Du point de vue des neurosciences, quelles autres directions le système ChatGPT peut-il essayer de rendre plus similaire au feedback de la pensée humaine ?

Li Chengyu :C'est évidemment une très bonne question. La science du cerveau et la médecine interne sont très différentes et chacun a des opinions très différentes. Je ne peux exprimer que mon opinion personnelle. Je pense que l’intelligence artificielle générale pourrait être un point très important à l’avenir. S’il y a une entité à côté de moi qui me ressemble et qui a la même intelligence que moi, elle peut m’aider à résoudre mon problème. De ce point de vue, le ChatGPT actuel peut prendre plusieurs formes. Cela peut y ajouter du mouvement, et il a besoin d’un apprentissage continu et il doit également avoir une certaine conscience de soi. Je pense qu’en prenant conscience de soi, nous pouvons résoudre bon nombre des fausses nouvelles que nous venons de mentionner. Il y a aussi l'éthique évoquée tout à l'heure. À partir de la source de données la plus fondamentale, il y a des questions éthiques. Parce qu'il existe plus de 190 pays dans le monde, la culture de la plupart des pays ne se reflète pas dans ChatGPT. Je pense que d'un point de vue éthique global, nous devons tous réfléchir sous un nouvel angle à la manière de construire un système plus juste, plus efficace et plus efficace. un corps plus intelligent. Les questions posées par les étudiants du RLCN incluent en fait le BIAIS inductif. Je pense que le BIAIS inductif est très important. Cette carte cognitive initiale est liée à l'intelligence, au mouvement global et au guidage que je viens de mentionner. Elle est également importante pour la survie.

Q6 : Le grand modèle GPT va-t-il renverser le paradigme de recherche sur l'apprentissage automatique existant ? À l’ère de l’après-grand modèle, la recherche théorique sur l’intelligence artificielle est-elle toujours importante ?

Liu Qun : Bien que je ne sois pas un théoricien, je pense que la théorie est importante, mais je n'ai pas imaginé comment la théorie peut aider notre IA actuelle à faire mieux. Mais j'espère que la théorie pourra aider à répondre à une question. Nous parlons souvent de l'émergence de grands modèles, mais il n'y a rien d'étrange dans l'émergence elle-même. Je pense que lorsque le modèle deviendra plus grand, de nouvelles capacités apparaîtront certainement. grand modèle, quand les enfants normaux grandissent, ayant pris 10 fois son poids d'origine, ses capacités doivent être différentes d'avant, donc je pense que c'est normal. Mais existe-t-il une théorie capable de prédire avec précision la taille du modèle et la taille des données requises pour que diverses capacités émergent ? Je veux vraiment en savoir plus et dans quelle mesure de grands modèles peuvent-ils émerger avec de nouvelles capacités ?

Fang Meng : Je pense que l'orientation future possible de la recherche est que GPT montre une forte capacité d'inférence logique. J'aimerais savoir comment prouver qu'il s'agit d'une véritable capacité d'inférence logique, plutôt que de l'imiter après avoir beaucoup appris. de données. Je suis également curieux de savoir quelle quantité de données et quelle taille un modèle est nécessaire pour disposer de capacités d'inférence logique. Je pense donc que nous pouvons obtenir des résultats empiriques, mais nous devons vraiment faire davantage de recherches sur le plan théorique si nous voulons avoir la bonne réponse.

Wen Jirong : Je pense que cette question est assez bonne. Je pense qu'elle peut être étudiée. Maintenant, GPT4 ou d'autres grands modèles GPT montrent de nombreuses capacités cognitives ou comportements humains. Y aura-t-il une science dans le futur, comme la science du cerveau numérique ? Car ce modèle lui-même fait l’objet de nos recherches. Je pense que l’étude des grands modèles en elle-même est très significative. Ce qui est découvert ici peut à son tour avoir de nombreuses implications importantes pour les futures sciences du cerveau ou des sciences cognitives.

Li Chengyu : Je pense que c'est une bonne question que vous pouvez poser à GPT4. La raison est que Stan Dehaene a dit qu'il y a deux caractéristiques fondamentales dans la conscience, le traitement sélectif et la supervision. des informations d'entrée. Le traitement sélectif du sexe, et le second est de surveiller sa propre conscience. Donc, de ce point de vue, ChatGPT lui-même ou ses futurs descendants peuvent-ils surveiller leur propre comportement ? C'est quelque chose que vous pouvez poser au niveau théorique, et vous pouvez également construire un nouveau cadre ou une nouvelle structure de réseau pour générer cette capacité. De ce point de vue, le cadre théorique peut peut-être aider à construire une nouvelle génération d’intelligence artificielle.

Wang Jun : Oui, ce n'est pas seulement l'attention qui connaît les limites des capacités. Par exemple, où se situe la limite des capacités architecturales actuelles de Transformer ? Qu'est-ce qui peut et ne peut pas être fait ? A-t-il une mémoire de travail ? Où sont les limites des capacités de la fonction de feedback ? Certaines choses peuvent émerger, d’autres non. Ceux-ci nécessitent en effet une base théorique très solide pour être étudiés. Il existe également une connaissance préalable du BIAS inductif. Tout d'abord, la conception du transformateur lui-même est une connaissance a priori. Cela peut-il être réalisé sans connaissances préalables ? Je pense que ces questions nécessitent grandement des recherches théoriques. Sans conseils, tout le monde sera une mouche sans tête.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!