Lanzhou insiste pour faire tous les efforts : pour mettre en œuvre la scène ToB, un grand modèle avec des paramètres 10B suffit

Concentration, perfection, réputation, rapidité et coût.

Zhou Ming est le fondateur et PDG de Lanzhou Technology. Il a proposé la « règle des neuf caractères pour la mise en œuvre de grands modèles », qui est basée sur la « règle des sept caractères » de Lei Jun pour Internet et en ajoutant le mot « coût ».

Il a qualifié 2024 de première année des grands modèles, mais a en même temps déclaré fermement que cela ne voulait pas dire qu'il y avait de l'or partout.

Quant à la mise en œuvre spécifique du grand modèle, Zhou Ming a donné l'exemple avec l'équipe entrepreneuriale de grand modèle Lanzhou Technology qu'il dirigeait - en utilisant le système "un horizontal et N vertical" de Lanzhou, basé sur le grand modèle Mencius, orienté vers des scénarios, lancement de produit.

En termes simples, il s'agit d'un deux roues motrices de technologie et d'application. Tout en recherchant et maîtrisant activement les technologies de pointe, nous nous engageons à garantir l'application efficace de ces technologies.

Lors de la conférence de lancement de produits et de technologies de modèles à grande échelle de Lanzhou le 18 mars, Lanzhou Technology a également signé un contrat de coopération stratégique avec Zero-One Wanshi.

Sur place, Kai-fu Lee, président de Sinovation Ventures et PDG de Zero-One Everything, a déclaré que la meilleure intelligence de modèle à grande échelle au monde a atteint 3 fois le niveau d'intelligence humaine moyen dans d'autres pays. En d’autres termes, seuls des gens ordinaires peuvent répondre à 100 questions. Il a répondu correctement à 33 questions, tandis que le meilleur grand modèle d’IA pourrait répondre correctement à plus de 99 questions.

Il attendait avec impatience les quatre grandes tendances de l'avenir de l'ère de l'IA 2.0 :

Les applications IA 2.0 les plus révolutionnaires devraient être AI-First / AI-Native : les applications qui se démarquent enfin appartiennent à ces pionniers qui osez investir pleinement dans les nouvelles technologies. L’introduction de grands modèles de langage a donné un énorme élan aux applications AI-First.

Les grands modèles commencent par du texte et seront étendus à « tous les modes » à l'avenir : la technologie de génération crossmodale est un tournant dans la réalisation de l'intelligence cognitive et décisionnelle. Les informations du monde réel sont un système complet de texte, d'audio, de vision, de capteurs et de diverses sensations tactiles humaines. Pour simuler le monde réel avec plus de précision, il est nécessaire d'ouvrir diverses capacités modales, telles que texte-image, texte-. vidéo et autres systèmes multimodaux, capacités complètes modales ou même entièrement modales.

L'IA 2.0 ira au-delà des conversations, des outils de chat aux outils de productivité intelligents : l'expérience utilisateur, ainsi que les futures interfaces interactives et modèles économiques subiront des changements majeurs.

L'IA 2.0 deviendra physique et augmentera considérablement la productivité sociale : l'intelligence incarnée peut permettre aux robots de fabriquer des robots, réalisant ainsi la planification intelligente des lignes de production de l'IA 2.0+.

Concentration sur la recherche et le développement de grands modèles à paramètres 10B-100B

Lanzhou Technology a été créée en juin 2021. C'est l'une des premières équipes en Chine à démarrer une grande entreprise de modèles.

En mars de l'année dernière, Lanzhou a publié Mencius GPT V1 (MChat) ; en janvier de cette année, Mencius grand modèle GPT V2 (y compris Mencius grand modèle - standard, Mencius grand modèle - léger, Mencius grand modèle - finance, Mencius grand modèle - Codage) est ouvert au public.

Récemment, l'équipe de Lanzhou a terminé la formation sur grand modèle de Mengzi3-13B.

Encore une chose, il y a un grand contributeur derrière la formation du grand modèle Mengzi, à savoir l'ensemble de données Mengzi-3 avec une échelle totale de jetons 3T, qui comprend des sources de données de haute qualité telles que des pages Web, des codes, livres, papiers, etc.

Selon les rapports, à la fin de ce mois (30 mars), le modèle Mengzi3-13B sera open source dans les communautés GitHub, HuggingFace, Moda et Shizhi AI.

Pourquoi la version 13B du modèle open source Mencius ? Zhou Ming a répondu à cette question de front.

Tout d'abord, Lanzhou se concentre clairement sur la fourniture de scénarios ToB, complétés par ToC.

La pratique a révélé que les paramètres des grands modèles les plus fréquemment utilisés dans les scénarios ToB sont principalement 7B, 13B, 40B et 100B, et que les paramètres globaux sont concentrés entre 10B et 100B.

Deuxièmement, dans cette fourchette, du point de vue du retour sur investissement, il répond non seulement aux besoins de la scène, mais est également le plus rentable.

Ainsi, depuis longtemps, l’objectif de Lanzhou a été de construire de grands modèles industriels sur l’échelle de paramètres 10B-100B. Il est donc difficile de comprendre pourquoi 13B a ​​été choisi pour la version open source.

Zhou Ming a expliqué qu'il croit lui-même à la loi Scaling, mais que l'entrepreneuriat est différent de la recherche scientifique.

" Premièrement, un grand modèle de cette taille peut déjà résoudre 80% des problèmes; deuxièmement, il est relativement stable pour l'équipe et ne se sentira pas agité en raison de la concurrence toujours croissante des modèles réduits. " a ajouté Zhou Ming, dans De cette façon, une réflexion sereine peut garantir un bon contrôle des coûts et éviter une concurrence inutile pour la puissance de calcul, les données et la main-d'œuvre des GPU.

Système "Un horizontal N vertical"

Lors de la conférence de presse, Lanzhou a annoncé son propre système un horizontal N vertical.

« Yiheng » est la couche de modèle, qui correspond à chaque modèle développé sur la base de la technologie grand modèle de Mencius ;

« N vertical » est la technologie et le produit les plus importants pour les applications ToB basées sur le grand modèle de Mencius ;

Il est entendu que Lanzhou se concentre actuellement sur le secteur financier, la programmation auxiliaire et d'autres domaines, dans le but de créer un grand modèle vertical plus proche des scénarios de l'industrie grâce à des données de terrain plus complètes, professionnelles et de haute qualité.

Basé sur le "One Horizontal" du grand modèle universel Mencius GPT, Li Jingmei, partenaire et chef de produit de Lanzhou Technology, a présenté les produits compatibles avec les applications de Lanzhou, notamment :

Compréhension des documents IA : couvrant les professionnels Les capacités d'analyse de documents PDF et d'extraction d'informations offrent de meilleures capacités de base pour la compréhension des documents dans la solution RAG.

Questions et réponses sur les documents IA : fournit des capacités de solution pour la construction d'une base de connaissances intelligente d'entreprise privatisée en fonction des besoins de l'entreprise ; les utilisateurs peuvent télécharger plusieurs documents comme documents de référence, prend en charge des questions personnalisées à plusieurs niveaux et des plans de rédaction, et est habilité par de grands modèles à générer automatiquement les premières ébauches complètes d'articles selon les besoins

Plateforme de traduction automatique : axée sur la traduction chinoise entre les principaux acteurs mondiaux ; langues et traduction professionnelle dans plus de 20 domaines ;

Lanzhou Intelligence : un produit axé sur l'analyse intelligente et les questions et réponses du contenu des réunions, il s'agit d'un grand assistant de réunion intelligent natif construit sur la base de grands modèles

Lanzhou ; AI Search : Un moteur de recherche à l’ère des grands modèles linguistiques.

Depuis un an, le domaine des grands modèles évolue chaque jour qui passe.

Nous ferons tout ce que fait OpenAI. C'est bien à court terme, mais pas à long terme. Nous devons avoir nos propres idées innovantes.

Zhou Ming a exprimé son point de vue sur la façon de tirer parti des forces, d'éviter les faiblesses et de trouver sa propre voie d'innovation.

La première étape la plus critique consiste pour l’entreprise à avoir un positionnement clair. Le positionnement de Lanzhou Technology est très différent de celui des autres startups de grande envergure en Chine.

Par exemple, Lanzhou se positionne comme une entreprise globale qui fournit « une technologie de grand modèle + une application de scénarios d'entreprise ». « Nous espérons mieux comprendre les applications d'un point de vue technique et mieux comprendre la technologie du point de vue des applications. J'espère que la technologie et les applications forment un lien écologique, permettant aux deux parties d'itérer rapidement. "

Dans le même temps, il est toujours nécessaire de se concentrer sur la mise en œuvre et de la mettre en œuvre - pour créer de la valeur et stimuler l'innovation par la mise en œuvre.

Et il convient de noter que l'innovation et la mise en œuvre se complètent.

N’innovez pas ou ne mettez pas en œuvre aveuglément, mais connectez les deux pour le faire itérer rapidement.

Enfin, Zhou Ming lui a aussi rappelé sincèrement :

C'est la première année de lancement des grands modèles, donc il y a de l'or partout, non ? Non, je peux dire de manière responsable que nous n’avons pas exploré beaucoup d’endroits.

Par exemple, comment résoudre le dernier kilomètre de l'atterrissage d'un grand modèle ? Quel est le modèle économique du grand modèle ? Comment renforcer les capacités de livraison ? Comment améliorer la commercialisation des produits ?

La mise en place du grand modèle vient effectivement de commencer.

— Contacter l'auteur —

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!