Wang Haifeng, CTO de Baidu : Les grands modèles linguistiques annoncent l'aube de l'intelligence artificielle générale

Le 16 août 2023, heure de Pékin, la conférence des développeurs WAVE SUMMIT Deep Learning a été organisée par le Centre national de recherche en ingénierie pour les technologies et les applications du Deep Learning. Lors de cette réunion, le directeur de la technologie de Baidu et directeur du Centre national de recherche en ingénierie pour le Deep Learning. Technologie et applications d'apprentissage Wang Haifeng a prononcé un discours d'ouverture. Wang Haifeng a déclaré publiquement pour la première fois que les grands modèles de langage possèdent déjà les capacités de base de base de l'intelligence artificielle telles que la compréhension, la génération, la logique et la mémoire, apportant un nouvel espoir au développement de l'intelligence artificielle générale

8 millions de développeurs ont utilisé Flying Paddle et créé plus de 800 000 modèles

La conférence des développeurs WAVE SUMMIT Deep Learning a lieu depuis avril 2019. Lors de la première conférence, Wang Haifeng a souligné que l'apprentissage profond avait une large applicabilité et présentait les caractéristiques de la standardisation, de l'automatisation et de la modularisation de la production industrielle, ce qui a permis à l'intelligence artificielle d'entrer dans la phase d'industrialisation. Après quatre années de développement, les progrès de la technologie et des applications du deep learning ont pleinement vérifié ce point de vue. Le champ d'application de la technologie d'apprentissage profond s'élargit de plus en plus, les fonctionnalités de standardisation, d'automatisation et de modularité des plates-formes d'apprentissage profond deviennent de plus en plus évidentes, et l'essor des grands modèles pré-entraînés a encore élargi la profondeur et l'étendue des technologies artificielles. applications de renseignement. L’intelligence artificielle est donc entrée dans la phase de production industrielle

En termes de standardisation, nous avons optimisé conjointement les cadres et les modèles pour nous adapter uniformément à une variété de matériels et simplifier les modèles d'application, abaissant ainsi considérablement le seuil des applications d'intelligence artificielle en termes d'automatisation, nous avons amélioré l'efficacité de l'ensemble du processus ; de la recherche et du développement en intelligence artificielle, de la formation à l'adaptation au déploiement d'inférence, sont tous automatisés en termes de modularité, nous fournissons une riche bibliothèque de modèles de niveau industriel pour faciliter l'application rapide de l'intelligence artificielle dans divers scénarios

La plate-forme open source open source d'apprentissage profond de qualité industrielle de FeiPaddle et le grand modèle de Wenxin se favorisent mutuellement, rendant l'écosystème FeiPaddle plus prospère, attirant 8 millions de développeurs, fournissant des services à 220 000 entreprises et institutions et créant 800 000 projets basés sur le modèle FeiPaddle. Wang Haifeng a expliqué la signification profonde du nom chinois de la communauté de développeurs Flying Paddle AI Studio « Galaxy Community », « Wenxin et Flying Paddle s'associent pour entrer ensemble dans la galaxie ». Sous la direction de Fei Piao et Wen Xin, nous travaillons avec tous les développeurs pour construire la communauté Galaxy et explorer les possibilités infinies de l'intelligence artificielle générale

Les modèles linguistiques à grande échelle apportent un nouvel espoir à l'intelligence artificielle générale

Wang Haifeng estime que les capacités de base de base de l'intelligence artificielle générale incluent la compréhension, la génération, la logique et la mémoire, et que le grand modèle de langage possède ces quatre capacités, apportant de l'espoir à la réalisation de l'intelligence artificielle générale

Plus précisément, les capacités typiques de l'intelligence artificielle, telles que la création, la programmation, la résolution de problèmes et la planification, reposent sur des capacités de base de base, notamment la compréhension, la génération, la logique et la mémoire, bien qu'elles puissent différer par le degré de dépendance. Par exemple, le processus de résolution de problèmes nécessite l'utilisation globale de la compréhension, de la mémoire, de la logique et des capacités génératives, depuis la lecture de la question, sa résolution jusqu'à l'écriture finale de la réponse

Comment obtenir ces capacités ? En prenant Wen Xinyiyan comme exemple, nous formons d'abord un grand modèle pré-entraîné grâce à l'apprentissage par fusion de milliards de données et de centaines de milliards de connaissances. Il est ensuite optimisé à l’aide de techniques telles que le réglage fin supervisé, l’apprentissage par renforcement avec retour humain et les invites. De plus, ce modèle présente également des avantages techniques tels que l'amélioration des connaissances, l'amélioration de la récupération et l'amélioration du dialogue

Innovations techniques telles que l'optimisation des sources de données et de la distribution des données grâce à de multiples stratégies, la modélisation de textes longs de modèles de base, le réglage fin supervisé multi-types et multi-étapes, le réglage fin supervisé adaptatif multi-tâches et les réglages multi-niveaux et multi-étapes. -Les modèles de récompense de granularité améliorent considérablement les capacités générales de base. Sur la base de l'amélioration de la récupération et de l'amélioration des connaissances, la capacité à maîtriser et à appliquer les connaissances du monde est améliorée grâce à l'amélioration des points de connaissances par la construction de données logiques à grande échelle, la modélisation des connaissances logiques, la combinaison de connaissances sémantiques multigranulaires et les neurones symboliques. réseau ; Assurer la sécurité des grands modèles en créant un système de sécurité complet qui inclut la sécurité des données, du contenu, des modèles et du système

Grâce à la technologie de formation parallèle hybride adaptative de bout en bout de Fei Paddle et à la compression, à l'inférence et au déploiement de services optimisés de manière collaborative, la vitesse de formation du grand modèle de Wenxin a été multipliée par 3 et la vitesse d'inférence a été augmentée de plus de 30 fois.

Grâce à une construction rapide et basée sur les données et à l'amélioration des plug-ins, nous avons réalisé une adaptation de scène et une optimisation collaborative dans les applications. Nous avons lancé cinq plug-ins : Wen Xin Yi Yan, Baidu Search, Browsing Documents, E Yan Yi Tu, Shuo Tu Jie Hua et Yijing Liuying. Ces plug-ins permettent à nos modèles de générer des informations précises en temps réel, des résumés de texte longs et des questions-réponses, des informations sur les données et la production de graphiques, une création basée sur des images et des questions-réponses, ainsi que des vidéos Vincent. L'introduction du mécanisme de plug-in élargit les limites fonctionnelles des grands modèles et répond mieux aux besoins de différents scénarios. Wang Haifeng a déclaré qu'à l'avenir, Baidu travaillerait avec les développeurs pour créer un écosystème de plug-ins et partager les résultats de l'innovation technologique

L'intelligence artificielle représentée par de grands modèles de langage pénètre dans des milliers d'industries, accélérant la modernisation industrielle et la croissance économique. Dans ce processus, l'innovation technologique et la mise en œuvre d'applications forment un cercle vertueux. Les capacités telles que la compréhension, la génération, la logique et la mémoire continuent de s'améliorer. L'étendue et la profondeur des applications industrielles continuent de s'étendre. intelligence artificielle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!