Annonce officielle de Baidu : Wenxinyiyan est sur le point de sortir, et il pourrait être plus fort que ChatGPT !

​Auteur | Xu Jiecheng

Le 7 février, le compte public officiel de Baidu a publié une très brève annonce - "Annonce officielle : un mot de Wen Xin". Il est entendu que Wen Xinyiyan est un chatbot de type ChatGPT développé en interne par Baidu, et son nom anglais est ERNIE Bot.

Selon les initiés de Baidu : Wenxinyiyan est composé d'une série de grands modèles avancés étendus sur la base du grand modèle amélioré par les connaissances (Ernie) proposé par Baidu. Il peut effectuer un large éventail de tâches, notamment. Compréhension du langage, génération de langage (ERNIE 3.0 Titan) et génération d'images à partir de texte (ERNIE-ViLG), etc. Comparé à d'autres modèles linguistiques, Wenxinyiyan peut combiner des connaissances approfondies avec des données massives pour produire des capacités de compréhension et de génération extraordinaires. La société prévoit de terminer les tests internes de Wen Xinyiyan en mars, puis de l'ouvrir officiellement au public.

Bien que nous ne connaissions toujours pas les performances réelles de Wen Xinyiyan, grâce à l'article intitulé "ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation" précédemment publié par Baidu, nous pouvons actuellement comprendre approximativement certaines informations pertinentes sur le modèle de langage ERNIE 3.0 Titan auquel il est appliqué.

Selon le document : ERNIE 3.0 Titan est un modèle de 100 milliards de paramètres formé par Baidu sur la plateforme PaddlePaddle, qui contient jusqu'à 260 milliards de paramètres (ChatGPT utilise un modèle GPT3.5 avec 175 milliards de paramètres). En outre, Baidu a également conçu une perte contradictoire auto-supervisée et une perte de modélisation linguistique contrôlable pour permettre à ERNIE 3.0 Titan de générer un texte fiable et contrôlable.

Afin de réduire les frais de calcul et les émissions de carbone, Baidu a également proposé un cadre de distillation en ligne pour ERNIE 3.0 Titan, dans lequel le modèle d'enseignant enseignera simultanément aux étudiants et se formera. ERNIE 3.0Titan est le plus grand modèle chinois de pré-formation intensive à ce jour. Des résultats expérimentaux pertinents montrent que les performances d'ERNIE 3.0 Titan sur 68 ensembles de données NLP sont meilleures que celles des modèles de langage les plus avancés à ce stade, y compris le modèle GPT3.5 appliqué par ChatGPT.

Schéma d'architecture du modèle ERNIE 3.0 Titan

Il est rapporté que Wen Xinyiyan est entré dans la phase de sprint final avant de se mettre en ligne, et la révélation de nouvelles pertinentes a également fait grimper les actions de Baidu à Hong Kong de plus de 17 %, la valeur marchande a augmenté d'environ 70 milliards de dollars de Hong Kong. Selon les spéculations de certains initiés de l'industrie, le projet Baidu Wenxin Yiyan pourrait avoir commencé la recherche et le développement dès septembre 2022. À cette époque, le PDG de Baidu, Robin Li, a déclaré lors de la Conférence mondiale sur l'intelligence artificielle : Peu importe au niveau technique ou au niveau des applications commerciales. , intelligence artificielle Il y a eu d'énormes progrès, et certains ont même changé de direction.

Compte tenu de la popularité actuelle de l'IA générative provoquée par ChatGPT, Baidu sera forcément plus que de simples entreprises nationales convoitant le marché dans ce domaine à l'avenir. Du point de vue du marché, la valeur et le scénario de mise en œuvre les plus évidents des chatbots de type ChatGPT sont la principale activité de recherche de Baidu. De ce point de vue, si la prochaine révolution technologique éclate réellement dans ce domaine, alors Baidu prendra sans aucun doute les devants. En outre, de nombreux acteurs du secteur estiment que, compte tenu du rythme des progrès de Google et de Microsoft, les progrès des tests internes ouverts de Wen Xinyiyan pourraient continuer à progresser.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!