Est-il possible que Bing intègre GPT-4 ? Est-ce vrai ou est-ce une théorie sans fondement ?

​Auteur | Xu Jiecheng

Avant la sortie de Microsoft New Bing, la plupart des gens prédisaient que les performances globales de New Bing seraient très similaires à celles de ChatGPT, même s'il existe quelques différences dans les détails entre les deux utilisateurs. ne devrait pas être capable de détecter ces différences du point de vue de l’expérience. Cependant, avec la sortie et la mise à jour de New Bing, de plus en plus de gens ont commencé à soupçonner que le précédent accord de 10 milliards de dollars entre Microsoft et OpenAI semblait être lié à bien plus que le « bébé » ChatGPT.

1. Annonce officielle de Microsoft : intégration d'un nouveau modèle

Bien que New Bing et ChatGPT soient tous deux peaufinés sur la base du modèle de la série GPT 3.5, à la mi-février, Microsoft a annoncé avoir intégré une nouvelle IA Le modèle de langage est intégré à New Bing, lui permettant d'avoir de meilleures performances que ChatGPT. Bien que Microsoft n'ait pas encore clairement indiqué la source et les données associées du nouveau modèle d'IA, certaines personnes du secteur spéculent que le modèle est probablement lié à GPT-4, qu'OpenAI n'a pas divulgué depuis longtemps.

En fait, dès la fin de l'année dernière, de nombreuses rumeurs sur le modèle GPT-4 avaient fuité dans l'industrie. Certaines nouvelles disaient que le modèle GPT-4 pourrait avoir plus de 100 000 milliards de paramètres (. GPT-3 représente 175 milliards), et certains ont déclaré que les experts prédisent que GPT-4 accordera plus d'attention au contrôle des coûts et que le nombre de paramètres du modèle ne changera pas beaucoup par rapport à GPT-3. Selon certains médias étrangers de l’époque, GPT-4 serait publié vers février 2023. Même si à en juger par les récentes performances d’OpenAI et le discours de son PDG, cette information n’est pas exacte. Mais selon les dernières nouvelles du New York Times, le modèle GPT-4 sortira probablement au premier semestre 2023.

Et les données de test pertinentes montrent également que le modèle potentiel New Bing mis à jour a une latence inférieure à celle de ChatGPT. De plus, à en juger par les performances réelles de la conversation, il existe certaines différences entre le New Bing actuel et ChatGPT. Lors de la conversation avec les utilisateurs, New Bing montre un état plus naturel et instinctif que ChatGPT. Mais lorsque la persistance des conversations augmente, New Bing montre également une tendance à répéter les réponses comme les modèles de la série GPT.

2. La seule solution

Lors de la sortie de ChatGPT, OpenAI a publié sur son blog officiel que l'entreprise avait « tiré les leçons du déploiement de ses premiers modèles tels que GPT-3 et Codex » et a choisi d'utiliser RLHF ( en utilisant des signaux de rétroaction humaine pour optimiser directement le modèle de langage) et un apprentissage supervisé pour former ChatGPT. Selon OpenAI, l'utilisation de la méthode RLHF peut réduire dans une certaine mesure la probabilité que ChatGPT produise des informations malveillantes et erronées.

Mais du point de vue de New Bing, Microsoft à cette époque était obligé de rivaliser avec Google Bard et devait accélérer le cycle de formation de New Bing. Les moins de trois mois entre le lancement par Microsoft du projet New Bing et sa sortie n'ont pas suffi pour reconstruire et intégrer la chaîne complète de formation RLHF. Par conséquent, Microsoft devrait toujours utiliser le modèle d'apprentissage supervisé traditionnel lors de la formation du modèle de New Bing. Cela a également causé à New Bing des problèmes de précision causés par un développement précipité et un manque de formation précoce depuis sa sortie.

Selon des informations pertinentes, Microsoft tente actuellement de résoudre le problème de l'exactitude du contenu généré par New Bing à travers diverses méthodes et a obtenu certains résultats, mais le plan d'optimisation ne mentionne pas clairement que New Bing utilise le mode RLHF pour ré-entraîner le modèle. À cet égard, certains experts pensent que Microsoft est susceptible d'optimiser le contenu généré par New Bing en intégrant d'autres filtres de génération de modèles de langage IA.

L'ancien chercheur de Playment AI, Khamisi, a également analysé ce problème dans son blog personnel : « Ni ChatGPT ni d'autres modèles actuellement publics ne peuvent bien contrôler la génération d'informations malveillantes et de fausses informations. Si Microsoft veut lever l'interdiction sur New Bing, le meilleur Un moyen de limiter le nombre de questions et de réponses est d'attendre qu'OpenAI fournisse cette fonctionnalité à certains modèles et de les utiliser dans New Bing. Il semble maintenant que Microsoft ait fait cela dans une certaine mesure "

3. L'étape de coopération est comme. colle

De plus, un autre point à noter est que même si la relation de coopération entre OpenAI et Microsoft a toujours été très étroite, avant la "coopération sur ChatGPT", la relation entre les deux était loin d'atteindre le même niveau. un pantalon ». Lors de collaborations et d'accords précédents, ils n'avaient jamais été ouverts l'un à l'autre en ce qui concerne les ensembles de données et leurs infrastructures respectives.

Cependant, juste au début de cette année, Microsoft a annoncé la troisième phase de son partenariat à long terme avec OpenAI. Outre des milliards de dollars d'investissement sur plusieurs années, le point le plus important est le suivant : Microsoft a autorisé OpenAI à entrer. cette phase Grâce à Azure, les entreprises et leurs développeurs accèdent aux meilleures infrastructures, modèles et chaînes d'outils d'IA au sein de Microsoft. Après cela, OpenAI a immédiatement augmenté ses investissements dans les données de modèles.

Selon les médias étrangers : depuis fin janvier, OpenAI a sous-traité son travail d'étiquetage des données à une société de données de San Francisco, essayant de s'appuyer sur des données plus précises pour créer de meilleurs filtres de contenu pour certains de ses modèles d'IA. Cette décision d'OpenAI peut fondamentalement être considérée comme une expression sincère de soutien à Microsoft après avoir reçu du soutien. En combinant les phénomènes ci-dessus, nous avons des raisons de croire que Microsoft a probablement obtenu certains droits pour utiliser le modèle GPT-4 et a commencé à essayer de l'intégrer dans son propre moteur de recherche et ses robots conversationnels.

4. Écrit à la fin

En tout cas, la coopération entre Microsoft et OpenAI est entrée en eau profonde, et la sortie publique de GPT-4 approche à grands pas. Si OpenAI souhaite effectuer un test plus complet de GPT-4 avant sa sortie officielle, alors son grand frère Microsoft, qui possède des données et des utilisateurs massifs, est sans aucun doute son meilleur choix, et Microsoft, qui a réalisé d'innombrables bénéfices grâce à ChatGPT, le fera très probablement. acceptez-la avec joie. La demande de ce jeune homme, après tout, dans le cercle de l'IA d'aujourd'hui, rien n'a une plus grande capacité à attirer de l'argent que le modèle GPT.

Mais à en juger par les spéculations précédentes sur le modèle GPT-4, même si New Bing a intégré le modèle GPT-4 en interne, il ne devrait s'appuyer que sur le modèle pour intégrer certaines des fonctions existantes de New Bing afin d'optimiser, les capacités innovantes de GPT-4 n'ont pas été rendues publiques. Cette décision est en effet conforme au style conservateur de Microsoft, sans compter que son concurrent Google vient de démontrer une vague de « je ne peux pas manger précipitamment » à travers. Bard il n’y a pas longtemps. Tofu chaud ». Bien que ni Microsoft ni OpenAI n’aient jusqu’à présent divulgué davantage de nouvelles sur New Bing et GPT-4 au monde extérieur, après avoir pris connaissance de certains de leurs développements actuels, je pense que les attentes de chacun pour l’avenir ont augmenté.

Lien de référence :

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com/technology/microsoft-ai-chatgpt-bing.html

https : //time.com/6247678/openai-chatgpt-kenya-workers/

https://analyticsindiamag.com/13-not-to-miss-research-papers-on-llms/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!