Google est vraiment anxieux et soutient DeepMind ! 70 milliards de paramètres Sparrow ChatGTP dur

La contre-attaque de Google a commencé !

Récemment, Microsoft a frappé Google les uns après les autres - il vient d'annoncer que ChatGPT sera intégré à son propre moteur de recherche Bing, puis a publié l'annonce à succès selon laquelle ChatGPT envisage de rejoindre le "seau familial" d'Office.

Microsoft prend souvent des mesures dangereuses, donc Google ne peut naturellement pas rester assis et attendre.

Selon les informations révélées par le fondateur de DeepMind dans une interview exclusive au "Times", Google est susceptible d'utiliser Sparrow, que DeepMind a précédemment lancé, pour répondre à la provocation de ChatGPT !

En fait, dans le passé, Google avait plusieurs grands modèles qui couvaient depuis longtemps, comme LaMDA, Imagen, etc., qui auraient atteint SOTA, mais qui n'avaient jamais été rendus publics.

Il semble que Google ait été vraiment contraint par Microsoft récemment et soit prêt à amener ses "enfants" à la rencontre des gens.

En réponse à ChatGPT, Google a la réponse

L'hésitation de Google dans le passé a semé les graines du regret pour moi aujourd'hui.

Bien que ChatGPT coûte très cher, brûlant 300 000 dollars américains chaque jour, les gens se souviendront toujours que ce jour de décembre 2022, c'est ChatGPT d'OpenAI qui a écrit d'un seul coup un chapitre important dans l'histoire des modèles de langage à grande échelle. , des gens du monde entier ont inondé les serveurs pour discuter avec des robots, pas avec Google.

En fait, avant qu'OpenAI ne lance ChatGPT, Google disposait déjà de modèles linguistiques à grande échelle optimisés pour le dialogue, tels que LaMDA et Flamingo.

Dès 2020, Google a lancé Meena, un modèle de conversation de réseau neuronal de bout en bout avec 2,6 milliards de paramètres. Ses effets étaient considérés comme plus raisonnables et spécifiques que tous les autres chatbots SOTA de l’époque.

Mais pour l’instant, Google n’a appliqué ces résultats de recherche à aucun produit.

Selon sa propre déclaration, cela est principalement dû à des considérations de « risque de réputation ». Les chatbots IA sont très faciles à "toxiques" - les données pour la formation à l'IA proviennent d'Internet, qui est souvent plein de préjugés, de haine et d'abus, de sorte que l'IA générera un contenu destructeur et des réponses incompatibles avec les faits.

À la mi-décembre, Jeff Dean, directeur de l'IA de Google, a déclaré lors d'une réunion plénière que bien que Google dispose de la technologie et des capacités nécessaires pour fabriquer des produits d'IA, ils doivent prendre des décisions "de manière plus conservatrice" que celles des "petites startups".

Mais désormais, Google, acculé par Microsoft, n'est peut-être plus "conservateur".

ChatGPT est devenu populaire sur Internet au cours des deux derniers mois, déclenchant une frénésie de participation nationale. Ces derniers jours, on a appris que Microsoft avait investi 10 milliards de dollars supplémentaires dans OpenAI d'un seul coup. stylo.

Face aux discussions en cours sur « ChatGPT peut-il remplacer les moteurs de recherche ? » et au fait que le logiciel Office de Microsoft est soupçonné d'être sur le point de subir une mise à niveau complète, Google doit maintenant prouver au monde extérieur qu'il peut rattraper son retard. . OpenAI, même au-delà.

Il n'y a pas si longtemps, Demis Hassabis, PDG et fondateur de DeepMind, a déclaré dans une interview au "Times" que le chatbot Sparrow de DeepMind pourrait entrer dans la phase de "test" (bêta privée) plus tard cette année.

Hassabis a déclaré que la raison du retard de la sortie de Sparrow est que DeepMind espère faire en sorte que Sparrow aille plus loin en termes de fonctions basées sur l'apprentissage par renforcement, ce qui manque à ChatGPT.

DeepMind, en tant qu'institution de recherche sur l'IA la plus importante sous Google, fournit à Google de nouvelles technologies avancées et les intègre dans les produits de consommation.

Il semble que Google va faire un grand pas en avant.

Auparavant, Yann LeCun, responsable de Meta AI, avait également exprimé son soutien à Google : "Google a plus d'expérience que d'autres entreprises (y compris OpenAI) dans l'utilisation de grands modèles de langage pour la recherche

."

Qui est le moineau de DeepMind ?

Comme ChatGPT, le modèle Sparrow proposé par DeepMind en septembre 2022 adopte également un cadre d'apprentissage par renforcement (RL) basé sur le feedback humain.

Mais la différence est que Sparrow peut le "Google".

Adresse papier : https://arxiv.org/abs/2209.14375

Après tout, Sparrow a été conçu à l'origine pour discuter avec les utilisateurs et peut utiliser Google pour répondre aux questions Rechercher des informations pertinentes à utiliser comme preuve à l’appui.

Bien entendu, afin de garantir que le comportement du modèle soit sécuritaire, son comportement doit également être contraint.

Par conséquent, les chercheurs ont identifié un premier ensemble de règles simples pour le modèle, telles que « Ne faites pas de remarques haineuses ou insultantes », « Ne vous faites pas passer pour une personne réelle », etc.

Plus tard, utilisez de petites discussions pour inciter Sparrow à enfreindre ces règles. Les conversations impliquées peuvent être utilisées pour former un « modèle de règles » distinct pour montrer quand le comportement de Sparrow enfreint quelles règles.

À en juger par les résultats, lorsqu'un comportement potentiellement dangereux est détecté, par exemple lorsqu'un utilisateur demande comment brancher une voiture, le modèle Sparrow dira qu'il a été formé pour ne rien faire d'illégal.

Selon les participants, lorsqu'on leur a posé une question factuelle, Sparrow a essentiellement fourni des réponses crédibles, et 78 % des données étaient étayées par des preuves, par rapport à la référence. Le modèle a fait de grands progrès.

Aidez Google à sortir du pétrin, DeepMind peut-il le faire ?

Par rapport à ChatGPT, Sparrow n'est pas qualifié

Ces dernières années, l'objectif de la recherche sur l'intelligence artificielle est généralement d'utiliser plus de paramètres pour obtenir de meilleures performances. Mais DeepMind a considérablement réduit la taille du modèle linguistique Chinchilla.

En tant que base de Sparrow, le nombre de paramètres du Chinchilla n'est qu'une fraction de GPT-3 - 70 milliards contre 175 milliards.

Dans le même temps, DeepMind a doublé la quantité de données d'entraînement pour Chinchilla à plusieurs reprises - 1,3 billion de jetons.

Le résultat est que cette "mini version" du modèle d'intelligence artificielle est plus performante que ses prédécesseurs dans presque toutes les tâches vocales, y compris bien sûr l'ancien rival GPT-3.

Il n'est pas difficile de voir à partir du succès de Chinchilla que de petits modèles d'intelligence artificielle entraînés avec de grandes quantités de données peuvent également atteindre des performances élevées.

De plus, le plus grand avantage des petits modèles est que non seulement ils sont moins chers à exécuter, mais ils peuvent également être optimisés pour des cas d'utilisation spécifiques avec très peu de données supplémentaires.

Cela peut empêcher l'entreprise de dépenser tout l'argent parce que les utilisateurs en sont trop satisfaits.

Eh bien, je parle d'OpenAI.

Cependant, le désormais populaire ChatGPT est basé sur le GPT-3.5 plus avancé.

Lorsque la dernière version de GPT-3.5, text-davinci-003, a été lancée auparavant, OpenAI a énuméré ses avantages :

1. Qualité de génération supérieure : fournir un contenu plus clair, plus attrayant et plus convaincant.

2. Peut gérer des instructions plus complexes : ses capacités peuvent être utilisées de manière plus créative.

3. Meilleur pour générer du contenu plus long : capable d'accomplir des tâches qui étaient auparavant difficiles à réaliser.

Donc, la question devient maintenant : si nous voulons rivaliser avec GPT-3.5, Chinchilla peut-il le faire ?

"Vraiment parfumé"

Étape par étape pour arriver là où nous en sommes aujourd'hui En regardant la configuration des actions de Google au cours des dernières années, la direction a probablement des sentiments mitigés.

Dès début décembre, lorsque ChatGPT est devenu populaire, il y avait des « lanceurs d'alerte » chez Google qui ont ressenti la crise. Certains employés ont fait part de leurs inquiétudes lors de la réunion à tous : la montée rapide de ChatGPT pourrait faire perdre à Google son avantage concurrentiel dans le domaine de l'IA.

Sridhar Ramaswamy, l'ancien chef de l'équipe publicitaire de Google, a également déclaré que si ChatGPT continue d'être aussi populaire, les internautes ne cliqueront plus sur les liens Google contenant des publicités.

Vous savez, en 2021, le secteur de la publicité a rapporté à Google 208 milliards de dollars, soit 81 % des revenus totaux d'Alphabet.

A cette époque, les dirigeants de Google ne se rendaient pas compte du genre de crise que la naissance de ChatGPT allait leur causer.

À l'époque, les dirigeants de Google avaient déclaré ceci : Google ne lancerait pas de concurrent à ChatGPT car Google présentait un « risque de réputation » plus important que des startups telles qu'OpenAI. De plus, « les chatbots n’ont pas encore atteint le point où ils peuvent remplacer les moteurs de recherche ».

Mais à peine dix jours plus tard, l'attitude des dirigeants a radicalement changé.

Pichai a demandé à certaines équipes de changer de direction et de développer des produits d'IA

Le PDG Pichai a publié en urgence un « Code rouge », a participé à plusieurs réunions autour de la stratégie d'IA de Google et s'est concentré sur l'instruction : les multiples de Google les équipes doivent se concentrer sur la résolution de la menace que ChatGPT représente pour l'activité des moteurs de recherche de l'entreprise.

Les équipes des divisions Recherche, Confiance et Sécurité de Google et d'autres divisions ont été invitées à changer de vitesse et à commencer à aider au développement et au lancement de prototypes et de produits d'IA.

En fait, les inquiétudes de Google sont compréhensibles.

Un robot peut répandre des mensonges, propager des discours de haine et même donner aux gens l'illusion qu'il est « conscient ». La tentative d'OpenAI de brûler de l'argent et de fournir un terrain d'essai pour un tel robot est en fait très audacieuse.

Jusqu'à présent, la réponse au test d'OpenAI a été plutôt bonne. Quelqu'un a trouvé une voie à suivre, et il semble que Google soit également sur le point d'entrer sur le marché.

Piégé dans le « dilemme de l'innovateur »

Le journaliste de Decoder, Matthias Bastian, estime qu'en plus des inquiétudes concernant le « risque de réputation », une raison plus raisonnable est que Google pourrait être piégé dans le « dilemme de l'innovateur ».

Ce terme a été proposé par le chercheur américain Clayton Christensen en 1997, décrivant une situation dans laquelle il est difficile pour les entreprises matures d'adopter de nouvelles technologies ou de nouveaux modèles économiques qui perturbent les marchés traditionnels.

Ces entreprises matures détiennent souvent les ressources les plus importantes et disposent de capacités de recherche scientifique suffisantes. Cependant, leur clientèle existante et leurs processus internes fixes peuvent les tenir à l’écart des innovations de rupture.

Et lorsque des concurrents plus petits et plus agiles entrent et prennent le contrôle du marché (oui, c'est OpenAI), cela pourrait éventuellement conduire à la disparition de grandes entreprises établies.

La plupart des revenus de Google proviennent de la publicité en ligne

Maintenant, l'activité principale des moteurs de recherche de Google est en croissance et rentable (rappelez-vous les 208 milliards de dollars ci-dessus).

On peut dire que chaque page de résultats de recherche imprime de l'argent pour Google.

Le nouveau chatbot de recherche signifie une nouvelle stratégie de monétisation. Peut-il rentabiliser Google comme un moteur de recherche ?

Bien sûr, Google peut lancer un chatbot aussi performant que ChatGPT, mais s'il est moins rentable qu'un moteur de recherche, Google subira des pertes.

L'expert en marketing numérique Tim Peter a souligné sur Twitter que l'avantage de Microsoft est qu'il peut subventionner le coût de ChatGPT dans Bing via d'autres sources de revenus

Et derrière ChatGPT se trouve le propriétaire financier Papa Microsoft, et Microsoft dispose de riches sources de revenus, il peut toujours prendre en charge ChatGPT pour continuer à graver ainsi.

Mais Google est différent. La quasi-totalité de ses revenus proviennent de la publicité. Par conséquent, sans revenus publicitaires, la valeur du moteur de recherche Google serait considérablement réduite.

Chiffre d'affaires de Microsoft par département pour l'exercice 2012 à 2022

De plus, la raison pour laquelle les moteurs de recherche sont si rentables est que les utilisateurs continuent de cliquer sur les liens. Dans le processus, Google facture les commerçants. Des frais de publicité énormes.

Mais si les utilisateurs peuvent obtenir des réponses directement via les chatbots sans avoir à chercher dans la liste, l'écosystème commercial payant des moteurs de recherche sera directement détruit.

Google ose-t-il risquer de détruire ce gâteau valant des centaines de milliards de dollars ?

Maintenant, Google a une solution de transition en douceur : lancer un chatbot commercial via son DeepMind, et créer un adversaire pour la recherche Google (et aussi un adversaire pour OpenAI de cette façon, peut être une haie).

De cette façon, Google peut apaiser les actionnaires et réagir lorsque des tiers soupçonnent que les chatbots remplaceront les moteurs de recherche.

En regardant les choses sous cet angle, la version bêta de Sparrow qui sortira en 2023 a une mission énorme.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!