OpenAI publie GPT-4. Quelles tendances technologiques méritent qu'on s'y intéresse ?

Cet article est rédigé par Zhang Junlin, responsable de la recherche et du développement de nouvelles technologies chez Sina Weibo et directeur de la Société chinoise de l'information de Chine, sur la question de Zhihu « OpenAI lance GPT-4, quelles sont les optimisations ou avancées techniques ? a été souligné dans le rapport technique GPT4 des trois directions, deux autres directions techniques ont également été mentionnées.

En ce moment historique, répondez à une question et laissez vos propres empreintes en tant que témoin de l'histoire.

Le rapport technique du GPT4 a clairement souligné trois nouvelles orientations :

Premièrement, la fermeture ou le petit cercle de la recherche la plus avant-gardiste en LLM. Le rapport technique indiquait qu'en raison de considérations de concurrence et de sécurité, les détails techniques tels que la taille du modèle n'avaient pas été annoncés. De l'open source de GPT 2.0 à GPT 3.0, il n'y avait que des articles, à ChatGPT il n'y avait pas d'articles, et jusqu'à GPT 4.0, les rapports techniques ressemblaient davantage à des rapports d'évaluation des performances. Une tendance évidente est qu'OpenAI a consolidé son nom sous le nom de CloseAI, et OpenAI ne publiera plus d'articles sur ses recherches de pointe en LLM.

Dans cette situation, d'autres entreprises dotées d'une technologie relativement avancée ont deux options. La première consiste à suivre un LLM open source plus extrême. Par exemple, Meta semble avoir choisi cette voie. Il s'agit généralement d'un choix raisonnable pour les entreprises désavantagées par rapport à la concurrence, mais la technologie concernée n'est souvent pas la plus avancée. Une autre option est le suivi d'OpenAI, nous avons également choisi de fermer la technologie. Google était auparavant considéré comme le deuxième échelon du LLM. Mais sous le coup conjugué de « Microsoft + OpenAI », la situation est désormais un peu embarrassante. GPT 4.0 a été achevé en août de l'année dernière. On estime que GPT 5.0 est actuellement en train d'être affiné. Avec une fenêtre de temps aussi longue, Google se retrouvera dans la situation actuelle. Pensez à certaines recherches très critiques telles que Transformer et. CoT, qui sont tous faits par eux-mêmes. Je ne sais pas ce que pensent les hauts fonctionnaires quand ils sortent et finissent comme ça. Si Google parvient à suivre rapidement par la suite, cela ne devrait pas poser de gros problèmes de rester au deuxième rang. Il est probable qu'il soit bien en avance sur la troisième place en matière de technologie. Pour des raisons de concurrence, je suppose que Google suivra très probablement la voie de fermeture technologique d'OpenAI. La technologie LLM la plus avancée sera d'abord utilisée pour affiner son propre élixir, plutôt que d'écrire un article et de le publier au profit du public, en particulier d'OpenAI. Cela entraînera probablement la fermeture des recherches les plus avancées en LLM.

À partir de maintenant, la Chine sera inévitablement obligée d'entrer dans une situation d'innovation indépendante après un certain temps (il devrait être plus rapide d'obtenir une réduction de 60 à 30 % sur ChatGPT, et on estime qu'il faudra un certain temps temps plus long pour égaliser). À en juger par les diverses situations intérieures au cours des trois derniers mois, à quoi ressemblera l'avenir ? Très probablement pas optimiste. Bien sûr, ce niveau doit être difficile, mais il doit être franchi. Je ne peux que souhaiter à ceux qui en ont la capacité et la détermination de faire de leur mieux.

Deuxièmement, la « prédiction de capacité » du modèle LLM mentionnée dans le rapport technique GPT 4 est une nouvelle direction de recherche très précieuse (en fait, il existe d'autres matériaux auparavant, je me souviens l'avoir lu, mais lequel est spécifique ? Je ne me souviens plus du chapitre). Utilisez un petit modèle pour prédire une certaine capacité d'un grand modèle sous certaines combinaisons de paramètres. Si la prédiction est suffisamment précise, elle peut considérablement raccourcir le cycle de raffinage de l'élixir et réduire considérablement le coût des essais et des erreurs. valeur pratique, cela vaut certainement la peine d'étudier attentivement les méthodes techniques spécifiques.

Troisièmement, GPT 4 a open source un cadre d'évaluation LLM, qui est également une direction très importante pour le développement rapide de la technologie LLM plus tard. En particulier pour le chinois, il est particulièrement important de créer des données et un cadre pratiques d'évaluation du LLM chinois. De bonnes données d'évaluation du LLM peuvent rapidement découvrir les lacunes actuelles et les orientations d'amélioration du LLM, ce qui est d'une grande importance. essentiellement vide pour le moment. Ce besoin en ressources n'est en réalité pas si élevé et convient à de nombreuses organisations, mais il s'agit en effet d'un travail difficile.

En plus des trois directions clairement indiquées dans le rapport technique du GPT 4, parce qu'il y a eu beaucoup de nouveautés dans divers aspects du LLM récemment, j'écrirai deux autres directions techniques.

Tout d’abord, l’Université de Stanford a récemment construit ​​Alpaca​​ basé sur le LLaMA open source 7B de Meta, plus ​​Self Instruct​​​technologiquement, qui représente également un direction. En résumé, cette direction peut être appelée la direction de la « reproduction à faible coût de ChatGPT ». Ce qu'on appelle l'auto-instruction consiste à adopter certains moyens techniques sans annotation manuelle de l'instruction. Au lieu de cela, l'instruction est extraite de l'interface OpenAI, qui est mieux connue sous le nom de « distillation ». , ChatGPT agit en tant que professeur et annote votre résultat Instruct. Cela porte le coût du marquage Instruct directement à la référence de plusieurs centaines de dollars, et le coût en temps est encore plus court. De plus, l'échelle du modèle 7B n'est pas grande, il peut donc être considéré comme une voie technique pour « reproduire ChatGPT à faible coût ».

J'estime que de nombreuses personnes en Chine ont déjà adopté cette voie technique. Il ne fait aucun doute qu’il s’agit d’un raccourci, mais il y a des avantages et des inconvénients à prendre des raccourcis, je n’entrerai donc pas dans les détails. Dans le processus de rattrapage de ChatGPT, je pense personnellement qu'il est réalisable et utile de réduire d'abord les coûts et de reproduire ChatGPT à 70 à 80 %. Après tout, les pauvres ont leur propre façon de jouer. Bien entendu, la volonté de réduire la taille du modèle sans sacrifier l’effet est très utile si cela peut être réalisé de manière terre-à-terre.

De plus, l'intelligence incarnée sera sans aucun doute l'axe de recherche clé du LLM dans la prochaine étape. Le représentant à cet égard est le ​​PaLM-E​​ publié par Google il y a quelque temps. Avec l’actuel GPT 4, on peut penser que les humains ont créé un super cerveau, mais l’ont quand même enfermé dans un cluster GPU. Et ce super cerveau a besoin d'un corps. GPT 4 doit se connecter, communiquer et interagir avec le monde physique, et obtenir de véritables retours dans le monde physique pour apprendre à survivre dans le monde réel, et utiliser les retours du monde réel, tels que l'apprentissage par renforcement. . Venez apprendre la capacité de vous déplacer à travers le monde. Ce sera certainement la direction de recherche LLM la plus en vogue dans un avenir proche.

Le LLM multimodal donne au GPT 4 ses yeux et ses oreilles, tandis que l'intelligence incarnée donne au GPT 4 son corps, ses pieds et ses mains. GPT 4 a un certain lien avec vous et moi, et s'appuyant sur la puissante capacité d'apprentissage de GPT 4 lui-même, cette chose devrait bientôt apparaître autour de nous.

Si vous y réfléchissez bien, il existe en fait de nombreuses autres directions prometteuses. Mon jugement personnel est que les 5 à 10 prochaines années seront la décennie dorée du développement le plus rapide de l’AGI. Si nous nous situons à l'heure des 30 prochaines années, lorsque nous regarderons ces 10 années en arrière, certains d'entre nous penseront certainement au verset suivant : « Comprenez, mais il est trop tard, ils rendent le soleil triste en chemin. , ni doux dans cette bonne nuit. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!