Kaifu Lee : Les grands modèles d'IA sont une opportunité historique à ne pas manquer

« À l'avenir, je pense que l'application AI2.0 la plus révolutionnaire sera AI-First. » a déclaré Kaifu Li, président de Sinovation Ventures, dans son discours.

Qu'est-ce que l'application AI-First ? Il fait référence à des applications qui ne peuvent exister sans le grand modèle.

Le 28 mai, Kaifu Li, président-directeur général de Sinovation Ventures et doyen de l'Institut d'ingénierie de l'intelligence artificielle de Sinovation Ventures, a prononcé un discours intitulé « Nouvelles opportunités de l'IA1.0 à l'AI2.0 » lors du Forum Zhongguancun 2023.

Dans son discours, il a donné ses propres opinions sur ceux qui avaient des doutes sur le développement de grands modèles, notamment sur la valeur commerciale du développement de grands modèles, l'impact de l'IA2.0 sur l'écologie future des applications et les perspectives de développement de grands modèles en Chine.

Il a dit que même un grand modèle imparfait a une valeur commerciale de dizaines de milliards de dollars. Le futur marché de l'IA 2.0 devrait être 10 fois plus grand que l'Internet mobile, accueillant des géants, des petites et moyennes entreprises et des startups à trois niveaux. Nous sommes impatients de former un « complexe d’innovation » où les géants, les petites, moyennes et micro-entreprises innovantes pourront se développer ensemble.

Ce qui suit est le texte intégral du discours de Kai-fu Lee (avec des abrégés)

Je suis très heureux d'avoir cette opportunité d'examiner la récente IA 2.0 du point de vue de notre institution d'investissement. Je suis peut-être la personne qui en sait le plus sur l'IA parmi les institutions d'investissement, et je connais peut-être aussi le mieux l'investissement dans. le domaine de l’IA. Je suis très enthousiasmé car au cours des deux dernières années, l'émergence de l'IA2.0 et des modèles à grande échelle m'a fait lire presque tous les articles pertinents au cours des cinq dernières années. Les équipes d'investissement et de technologie de Sinovation Ventures étudient également ce domaine. C'est pourquoi elles se sont même rendues aux États-Unis pour se renseigner sur certains des derniers développements d'OpenAI, de Google et de Microsoft.

Ce que je souhaite présenter aujourd'hui, ce ne sont pas les sociétés investies par Sinovation Ventures ou d'autres entreprises réelles, mais en réponse aux nombreuses questions récentes sur les grands modèles AI2.0, j'espère pouvoir donner une explication relativement simple qui sera utile à tout le monde. .

01

Valeur commerciale des grands modèles

Qu'est-ce que l'AI2.0 ? Du point de vue de Sinovation Ventures, du point de vue de l'investissement générateur de valeur économique, les étapes de développement de l'IA sont divisées en AI1.0 et 2.0. L'apprentissage profond s'est développé en AI1.0 après AlphaGo, et a ensuite été largement utilisé dans diverses industries et a créé de la valeur.

Depuis 1989, le développement de l'AI1.0 a commencé. Cependant, ces dernières années, certaines difficultés ont été rencontrées et peuvent être résolues par de grands modèles. Quels sont les goulots d’étranglement rencontrés dans AI1.0 ? À l'époque où il n'y avait pas de grands modèles, si nous voulions appliquer l'IA dans un domaine, nous devions collecter, nettoyer et étiqueter les données dans ce domaine, puis les utiliser pour ajuster le modèle. Le coût de l'ensemble du processus était élevé. très cher.

Pour les grandes entreprises comme Douyin, Alibaba ou Baidu, il n'y a pas de problème. Elles collectent trop de données et il existe de nombreuses opportunités de gagner de l'argent, mais si vous êtes une banque, une compagnie d'assurance ou une usine, il y aura d'énormes problèmes dans le domaine. mise en œuvre d’applications d’IA, et le coût sera insupportable.

L'avantage des grands modèles est qu'ils peuvent être entièrement formés une seule fois, puis appliqués via un apprentissage par transfert ou un réglage fin. À l'ère de l'IA 1.0, chaque application est une île. Cependant, avec l'émergence des grands modèles, des données massives peuvent être utilisées pour former un grand modèle de base à la fois, puis ce modèle peut être utilisé pour ajuster les applications requises. , réduisant ainsi considérablement le coût. Par exemple, les produits de haut-parleurs comme "Xiao Ai" peuvent être confus une fois qu'ils sortent du champ que "Xiao Ai" comprend. Vous constaterez que le haut-parleur intelligent n'est pas si intelligent en fait. Il ne peut faire que certaines choses comme jouer. de la musique, des choses simples comme vérifier la météo, et il y a beaucoup de choses qui ne peuvent pas être faites. Mais lorsque vous mettez quelque chose comme ChatGPT, sa réserve de connaissances est activée. Tant que vous ajustez son mode de conversation, il peut devenir un très bon robot de conversation.

Un modèle à grande échelle très parfait a une valeur considérable, même en affaires, et peut même atteindre une échelle de plusieurs milliards. Cela dépend de la manière dont les humains coopèrent avec lui, ce qu’on appelle l’humain dans la boucle.

Les journalistes utilisent l'IA pour les aider à rédiger, ou les avocats utilisent l'IA pour les aider dans les litiges. En fin de compte, tant que les humains sont toujours responsables de l'article ou du litige et que l'IA ne fait que la rédaction préliminaire, il n'y aura aucun problème. Étant donné que les gens ont appris que l'intelligence artificielle peut également commettre des erreurs, nous lui permettons uniquement de fournir initialement des brouillons de manuscrits au lieu de servir directement les utilisateurs afin de protéger les utilisateurs contre les dommages causés par la désinformation.

L'IA exploite pleinement les avantages de sa base de données massive. Par exemple, elle peut rédiger un nouveau résumé basé sur la lecture de 1 000 articles et rédiger un résumé basé sur la lecture des 10 000 procès historiques passés. Ces résumés de haute qualité peuvent faire l'affaire des journalistes. ou les avocats obtiennent des informations utiles et permettent aux gens de vérifier si l'IA a commis des erreurs.

De plus, dans certains domaines, les gens ne se soucient pas vraiment des erreurs de l'IA. Par exemple, dans les applications de divertissement, il est inoffensif d'être un héros dans un jeu et d'avoir une barbe plus longue ou plus courte, ou ce n'est pas le cas. peu importe s'il dit une mauvaise phrase. De toute façon, les relations sont toutes fabriquées dans le jeu. En fait, de nombreux domaines d’application peuvent tolérer ces grands modèles imparfaits. Sur la base de l’analyse de ce fait, l’IA a un grand potentiel dans les applications de productivité. Bien sûr, certains domaines sont très critiques et ne peuvent pas tolérer les erreurs, comme la recherche d'actualités, les sites Web gouvernementaux ou les domaines médicaux et liés à l'éducation. À l'avenir, le problème des erreurs de modèle importantes devra être résolu. résolu.

02

AI2.0 réécrit l'écosystème des applications

Nous pouvons tout à fait imaginer que les applications Word, PowerPoint, Excel, Photoshop et autres d'aujourd'hui seront toutes réécrites à l'aide de grands modèles d'IA, et après la réécriture, leur expérience utilisateur changera, et même le modèle économique changera. Il existe également des domaines dans lesquels le coût de ses erreurs n'est pas trop élevé, comme la publicité. Si une publicité est mal diffusée, elle est inoffensive. Aujourd'hui, nous avons reçu beaucoup de publicités par erreur, et les publicités que nous recevons lorsque nous allumons la télévision et les sites Web ne sont pas ciblées, mais l'IA peut rendre les publicités plus ciblées, même si elle commet parfois des erreurs.

Donc, rien que dans les domaines ci-dessus, je pense que c'est une opportunité valant des dizaines de milliards de dollars. Bien sûr, nous devons continuer à travailler dur pour réduire la fréquence de ces absurdités. Il existe ici tout un ensemble de méthodes, des données de pré-entraînement à l'alignement de l'entraînement, en passant par le traitement ultérieur, ainsi que des alertes précoces et des corrections rapides temporaires. méthodes. Ces combinaisons Ensemble, je crois que nous pouvons le faire.

La productivité est la plus grande opportunité. AI2.0 a environ trois écosystèmes. Nous parlons généralement de la couche inférieure comme modèle de base. Ce dont nous venons de parler est la couche d'application supérieure, comme vous aider à rédiger des manuscrits, à rédiger des procès, à dessiner des images, à découper des images, etc. Il existe également une couche intermédiaire qui fournit divers outils pour optimiser les modèles et mettre en œuvre l'apprentissage par transfert afin d'aider les grands modèles à être appliqués plus efficacement. La couche intermédiaire comporte deux parties. La première consiste à s'étendre vers l'extérieur à partir de la couche de modèle de base. Par exemple, si le modèle est si grand, peut-il être réduit lorsqu'une inférence est nécessaire, et un grand modèle peut être transformé en un petit modèle. pour un certain domaine, ou la question que nous venons de mentionner concernant la réduction de la fréquence des absurdités.

L'autre est l'ajustement depuis le calque d'application vers le bas. Par exemple, lorsque nous voulons réécrire un Photoshop, vous pouvez dire une phrase et l'image sortira, mais vous devrez peut-être aller plus loin et dire Je veux changer la couleur de l'arc-en-ciel. , ou Ajuster le ratio hommes-femmes du public à l'intérieur, ce qui nécessite un découpage intelligent du grand modèle et une compréhension de certains objets. Celles-ci ne sont en réalité pas directement liées au grand modèle lui-même, mais sans ces fonctions, il est impossible de pousser Photoshop à quelqu'un qui souhaite dessiner des images.

La couche intermédiaire est en fait très importante. À quoi nous fait penser la couche intermédiaire ? Par exemple, l'objectif de la couche intermédiaire fournie par Windows, Android et Apple est très simple : minimiser le coût de développement d'applications. Ce n'est qu'ainsi que le nombre de candidatures pourra augmenter et créer un cercle vertueux dans lequel les utilisateurs apporteront davantage de candidatures.

Dans mon discours précédent, j'ai évoqué l'arrivée de l'ère de l'IA 2.0 - un modèle plateforme plus application. Une fois maîtrisée, cette technologie de plateforme transformera tous les domaines. On sent clairement que, par exemple, lors de la création d'un jeu, la création de tous vos personnages, y compris les décors, les accessoires, les vêtements et même tous les codes, sera finalement écrite à l'aide de l'IA. Il est donc très probable que certains enfants utilisent dans la communauté à l'avenir. Notez le jeu auquel vous voulez jouer, et tout le monde pourra utiliser des mots pour se présenter le jeu, et vous pourrez y jouer en quelques secondes.

Le commerce électronique et la publicité mentionnés tout à l'heure en sont également un exemple. Nous pouvons adapter les publicités et les images à chaque personne en fonction de ses besoins, de son niveau d'éducation et de ses habitudes d'achat. Bien sûr, il y aura des problèmes de réglementation ici. Et si ce que vous écrivez est faux ou blesse les utilisateurs ? Cela nécessite toujours une supervision juridique, mais j'espère que tout le monde pourra comprendre ces deux exemples. Le grand modèle n'est en réalité pas seulement un moteur de questions et réponses. Il a changé l'écologie de toutes les applications. Il réécrira tous les écosystèmes que nous utilisons aujourd'hui.

03

Être AI-First à l'ère des grands modèles

Les grands modèles réformeront non seulement l'intelligence artificielle, mais entraîneront également d'énormes lacunes semblables à celles d'une plate-forme. Parmi toutes les applications, AI-First sera l’application la plus importante. Qu’est-ce que AI-First ? C’est juste que si cette application n’a pas d’IA, elle ne fonctionnera pas. Par exemple, certaines des applications Mobile-First que nous utilisons actuellement, telles que Meituan, Didi et Douyin, développent des applications basées sur le principe que les téléphones mobiles sont disponibles 24 heures sur 24, ces applications ne peuvent pas être utilisées.

Ces entreprises ont pleinement exploité les fonctionnalités apportées par les téléphones mobiles, développé de nouvelles applications adaptées aux téléphones mobiles et obtenu notre localisation géographique, afin que nous puissions les utiliser pour réaliser des activités telles que l'appel de taxi et les plats à emporter. Ensuite, d'autres sociétés, comme Sina, NetEase, Douban, etc., ont également très bien réussi à l'ère de l'Internet mobile, mais elles n'ont fait que déplacer leurs applications PC, elles n'ont donc pas eu la même explosion. Si vous vouliez démarrer une entreprise ou investir dans l’Internet mobile à l’époque, vous deviez choisir des applications qui devaient être mobiles. Ainsi, si vous souhaitez démarrer une entreprise dans le domaine de l’intelligence artificielle aujourd’hui, vous devez créer des applications qui le soient. avoir une intelligence artificielle.

Pour faire simple, AI-First signifie que sans grands modèles, l'application devient complètement inutile. Ce type d'application est ce que nous devons faire aujourd'hui. Elle sera la coqueluche de l'avenir de cette époque. Toute son expérience utilisateur consistera peut-être davantage à apprendre à communiquer avec nous dans le langage humain, plutôt qu'à nous obliger à apprendre le langage informatique. .

Bien sûr, nous savons tous qu'il reste encore de nombreux défis à relever, notamment des problèmes tels que les fausses informations et la protection de la vie privée. Soulignant qu'il est nécessaire de renforcer la supervision, nous avons également besoin de davantage de technologie pour résoudre ces problèmes. Il ne suffit certainement pas d’utiliser uniquement la supervision ou la technologie, et les deux méthodes doivent être combinées.

Récemment, des voix controversées se sont fait entendre sur le marché, telles que « Vous pouvez utiliser de grands modèles open source étrangers pour créer une version chinoise d'OpenAI », « Il n'est pas nécessaire de créer de grands modèles, de petits modèles suffisent. », « Les grands modèles coûtent de l'argent et consomment des gens, et seuls les géants ont des billets d'entrée. » « Il y a trop de startups à grand modèle en Chine », etc. À mon avis, l'open source est très important. La technologie chinoise aura certainement besoin de l'open source à l'avenir, car il y a encore des entrepreneurs dans les universités qui n'ont pas d'open source et il est difficile d'obtenir le pouvoir de démarrer.

Mais il ne faut pas croire ce que disent certains sur Internet. J'ai pris un modèle open source, comme GPT-4, pour m'entraîner, et j'ai soudain découvert que le modèle était aussi bon que GPT-4, donc le grand. Le modèle n'a aucune valeur et vous ne l'utilisez pas. Oui, c'est absolument faux.

Parce que d'abord, le modèle open source lui-même peut avoir des limites. Lorsque vous entraînez un grand modèle, il nécessite beaucoup de GPU et le coût est relativement élevé. Le modèle open source définit essentiellement le plafond de votre modèle, puis vous effectuez le travail d'ajustement de l'alignement et d'apprentissage à l'intérieur. Les améliorations que ces tâches apportent au modèle sont déterminées par votre plafond. Si votre objectif dès le départ est un plafond comme le GPT-4, il sera alors impossible de créer un modèle plus grand que cela. Deuxièmement, de nombreuses personnes utilisent GPT-4 pour entraîner leurs modèles open source, mais nous ne pouvons vraiment pas garantir que GPT-4 continuera à être ouvert à l'avenir. Il est dangereux de peaufiner un modèle formé à l’étranger pour une utilisation au niveau national. Étant donné que la culture, les habitudes, les lois et les réglementations au pays et à l'étranger sont différentes, si vous prenez un ensemble de modèles formés aux États-Unis et que vous les déboguez en Chine, pensez-vous que ces cadres peuvent résoudre les problèmes nationaux ?

Je crois donc toujours qu'il est nécessaire d'ouvrir les grands modèles. Bien sûr, il n'y aura pas 50 grandes entreprises modèles à l'avenir. Cela se réduira à un nombre relativement petit, tout comme lors des premiers moteurs de recherche américains. Au début, il y en avait environ 10. Par la suite, grâce aux fusions et acquisitions, les cinq ou six entreprises restantes se sont très bien développées. Par exemple, Google a été le dernier à apparaître, mais il est devenu le premier. Je pense donc qu'il y aura des entreprises plus spécifiques, qu'il s'agisse principalement de grandes ou de petites entreprises. conclusion trop tôt. Tout le monde a encore une chance.

Aujourd'hui, surtout alors que nous sommes encore en train de rattraper notre retard dans ce domaine, nous devrions encore encourager divers modèles de développement, car il nous est difficile de savoir qui peut le faire.

Il y a trois étapes dans l'évolution des grands modèles. La première étape est celle des grands modèles de taille moyenne. La deuxième étape consiste à franchir le seuil de « l'émergence » et à devenir de grands modèles traditionnels. Actuellement, certains grands modèles en Chine. L'entreprise a atteint une échelle de données de 60 milliards et en est à peu près à la deuxième étape. Cependant, la qualité des données en Chine n'est pas suffisamment élevée si nous voulons entrer dans la troisième étape. la qualité et l'échelle des données sont importantes ; la troisième étape consiste à devenir une grande entreprise modèle. Actuellement, seules deux entreprises étrangères ont atteint la troisième étape. L'échelle et la qualité des données de leur modèle sont très bonnes, et elles disposent également d'un apprentissage par renforcement par rétroaction humaine, qui peut être lié à de nombreuses applications en aval.

Le point dont je veux parler concerne les modèles. En particulier, je pense qu'il y a une chose dans le GPT-4 d'OpenAI que tout le monde n'a pas remarqué, c'est sa fonction d'expansion (mise à l'échelle) du modèle. On dit qu'il est capable d'utiliser un ou dix millièmes de fois pour prédire si la formation d'un modèle réussira.

Lorsque nous entraînons un grand modèle pendant un mois, si nous commettons une erreur, des milliers de GPU seront gaspillés. Ensuite, cet ensemble de fonctions de mise à l'échelle quantifie la possibilité d'un entraînement réussi dans une certaine mesure et peut réduire le gaspillage. Cependant, nous ne savons pas actuellement comment OpenAI opère cette mise à l’échelle. Nous ne pouvons essayer de le faire qu’à partir de certains articles publiés. Même si nous manquons de GPU, il faut quand même comprendre comment maximiser l’utilisation de notre GPU.

La taille du modèle n'est pas le seul facteur déterminant dans le développement de grands modèles, la qualité des données est plus importante. À l'ère de l'IA 1.0, lorsque nous formons divers modèles de langage, plus il y a de données, mieux c'est. Cependant, l'expérience que nous avons acquise en formant de grands modèles est à la fois en qualité et en quantité. sont importants, mais par rapport à la qualité, ils ne peuvent pas être sacrifiés, et je pense que cela nécessite l'aide et la promotion du pays.

La qualité des données Internet aux États-Unis est supérieure à celle de la Chine. Par exemple, si ma famille a des problèmes de santé, je dois me rendre sur WebMD ou à la Cleveland Clinic pour les trouver, mais il n'existe pas de sites Web similaires en Chine. La Chine ne dispose actuellement pas d'une plate-forme de collecte de données sur le bien-être public, nous avons donc toujours besoin du pouvoir du gouvernement national pour promouvoir la collecte de données de haute qualité et réduire l'écart de qualité des données avec les pays étrangers. Le prochain écart entre la Chine et les États-Unis. Les États peuvent se refléter dans cette qualité des données.

04

AI2.0 Perspectives

Je pense que l'application AI2.0 la plus révolutionnaire du futur sera AI-First. Au final, ceux qui se démarquent sont les pionniers qui osent investir pleinement dans les nouvelles technologies. Dans le passé, les humains devaient apprendre les langages informatiques, mais à l’avenir, ce seront peut-être les ordinateurs qui apprendront nos langages, ce qui nous fera gagner beaucoup de temps. Il nous suffit de dire à l’IA ce que nous voulons faire et elle le fera à notre place. Par exemple, je peux dire à l’assistant intelligent que demain c’est l’anniversaire de ma femme et que j’ai besoin de fleurs, de gâteaux et de cadeaux, et cela m’aidera à les obtenir tous, ce qui me fait gagner beaucoup de temps. Nous recrutons actuellement des assistants pour nous aider dans ces tâches afin de gagner du temps. À l’avenir, ces tâches pourront être accomplies par des assistants IA.

À l'avenir, je crois également que Big Model ne sera pas seulement un outil de chat, mais dépassera lentement les attentes des utilisateurs et deviendra un outil de productivité intelligent. Lorsque ce jour arrivera enfin, nous constaterons que le modèle économique actuel changera et que l’App Store n’existera plus.

Par exemple, lorsque je dis à AI de m'acheter des gâteaux et des fleurs pour l'anniversaire de ma femme, elle n'a pas besoin d'aller sur le site de commerce électronique, elle peut passer des commandes directement auprès de l'entrepôt, ce qui bouleversera le modèle économique existant et. apporter plus d’opportunités économiques. Les applications d'IA que nous voyons actuellement se situent essentiellement dans le monde virtuel, mais à l'avenir, l'IA se déplacera vers le monde physique. Nous avons un concept appelé Embodied AI, ce qui signifie que si vous utilisez des vidéos massives comme données d'entraînement, il est possible pour le robot de comprendre vos besoins. Si vous lui dites d'apporter des chips, il saura qu'il doit ouvrir le tiroir, prendre l'assiette, la verser, etc. Bien sûr, il sera peut-être difficile de les voir entrer dans des applications pratiques dans les trois à cinq prochaines années. années, mais académique et industriel. La combinaison fait que tout cela ne semble pas si farfelu.

Le grand modèle d'IA est donc une opportunité historique que la Chine ne peut pas manquer. Il s'agit de la plus grande révolution de plate-forme de l'histoire. Elle est 10 fois plus importante que les changements apportés par Windows et Android. Il réécrira toutes les applications et reconstruira le travail humain, permettant aux créatifs de mieux se concentrer sur le travail de recherche, amplifiant leur ingéniosité de 10 fois ou plus, et en même temps, de nombreuses tâches répétitives seront remplacées.

Bien que la Chine ait démarré plus tard que les États-Unis, nous disposons encore d'un grand potentiel de développement en raison de l'énorme marché des applications et de la forte connectivité de tous les aspects de notre économie. Le gouvernement chinois obtient de meilleurs résultats que les pays occidentaux en matière d'allocation des ressources et d'organisation du travail, et peut réussir à guider davantage de Chinois vers des postes qui leur conviennent. La Chine dispose également d'un énorme avantage en termes de talents. La Chine compte un très grand nombre d'ingénieurs et de scientifiques en IA. Les meilleurs d'entre eux se trouvent peut-être encore aux États-Unis, mais de nombreux jeunes scientifiques chinois sont également très puissants. Cependant, nous avons encore un défi. Dans le passé, notre puissance de calcul n'était pas aussi bonne que celle des États-Unis et nous avions moins d'expérience dans les grands modèles. Cependant, je crois qu'avec les efforts conjoints du gouvernement et des grandes entreprises. , et les sociétés d'investissement, nous pourrons bientôt surmonter cette question.

Andreessen Horowitz, une institution d'investissement américaine bien connue, a une prédiction pour ce domaine : "La taille potentielle de ce marché est difficile à saisir - elle se situera entre tous les logiciels et tous les efforts humains du marché de l'IA 2.0". Il sera 10 fois plus grand que l'Internet mobile et devrait former un « complexe d'innovation » où géants, petites, moyennes et micro-entreprises innovantes se développeront ensemble.

Source : China Entrepreneur Magazine

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!