"Yi Tay : un scientifique qui a quitté Google et s'est lancé dans la voie de l'entrepreneuriat, publiant 16 articles de haute qualité en trois ans"

Le lendemain de la sortie de GPT-4, Geoffrey Hinton, lauréat du prix Turing, a contribué à une merveilleuse métaphore : "Une chenille extrait les nutriments de la nourriture, puis se transforme en papillon. Les gens ont extrait des milliards d'indices de compréhension, GPT- 4 est le papillon humain"

En seulement deux semaines, ce papillon semble avoir déclenché un ouragan dans divers domaines. En conséquence, l’industrie de l’IA a marqué le début d’une nouvelle vague d’entrepreneuriat. Parmi eux se trouvent de nombreux entrepreneurs issus de grandes entreprises comme Google.

Si vous lisez souvent des articles sur les grands modèles d'IA, Yi Tay doit être un nom familier. En tant que chercheur scientifique principal chez Google Brain, Yi Tay a contribué à de nombreux modèles linguistiques à grande échelle et modèles multimodaux bien connus, notamment PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI, MAMAN et autres.

Selon les statistiques personnelles de Yi Tay, au cours de ses 3,3 années chez Google Brain, il a participé à la rédaction d'un total d'environ 45 articles et a été co-auteur de 16 d'entre eux. Les articles rédigés incluent UL2, U-PaLM, DSI, Synthesizer, Charformer et Long Range Arena, etc.

Comme la plupart des auteurs de Transformer qui ont quitté Google pour créer leur propre entreprise, Yi Tay a également trouvé le moment approprié pour partir et se lancer dans un nouveau voyage de vie.

Dans un article de blog, Yi Tay a officiellement annoncé la nouvelle de sa démission et a révélé sa prochaine étape dans son profil mis à jour : participer à la fondation d'une société appelée Reka et occuper le poste de PDG de l'entreprise. Scientifique en chef, en se concentrant sur modèles de langage à grande échelle.

Yi Tay a également révélé que Reka est basée dans la région de la baie de San Francisco et a été cofondée par une solide équipe d'anciens chercheurs et ingénieurs de DeepMind, FAIR et Google Brain.

En plus de Yi Tay, Liu Qi, professeur adjoint du Département d'informatique de l'Université de Hong Kong, a également mentionné sur sa page d'accueil personnelle qu'il participe à la création d'une société appelée "Reka" dédiée à le développement de modèles de base multimodaux. Au cours de ses études de doctorat, Liu Qi a effectué un stage chez Google pendant un certain temps et a co-écrit des articles tels que « Quaternion Knowledge Graph Embedding » avec Yi Tay.

Le site officiel de "Reka" ne pouvant pas encore être ouvert, nous ne sommes temporairement pas en mesure d'obtenir plus d'informations sur l'entreprise.

À l'occasion de ses adieux à Google, Yi Tay a écrit un blog avec gratitude, affirmant que quitter Google ressemblait à une remise de diplôme car il avait beaucoup appris de Google et de ses collègues, mentors et managers exceptionnels.

Google sera toujours spécial pour moi car c'est là que j'ai appris à faire de très bonnes recherches. Je repense à ma première adhésion, lorsque j'ai vu les auteurs de tant d'articles célèbres et influents si proches les uns des autres, j'étais comme un fan rencontrant sa star préférée. C’est pour moi une formidable stimulation sensorielle, très motivante et inspirante. À ce jour, je suis toujours reconnaissant d’avoir pu travailler et étudier avec beaucoup d’entre eux, du moins avant que la plupart d’entre eux ne partent.

J'ai beaucoup appris.

Dans une perspective plus large, j'ai appris l'importance de mener des recherches critiques et comment diriger la recherche vers l'objectif d'avoir un impact concret. Au collège, on nous dit seulement que nous devons soumettre un nombre N d'articles de conférence (afin d'obtenir notre diplôme ou de faire autre chose). Chez Google, les choses doivent être lancées et avoir un réel impact.

Pour moi, la plus grande inspiration ici est de savoir comment s'approprier le processus d'innovation en recherche de bout en bout, c'est-à-dire de l'idée au papier/brevet, en passant par la production et enfin au service des utilisateurs. Dans une large mesure, je pense que ce processus a fait de moi un meilleur chercheur.

Si je dois décrire ma croissance, je pense que l'ensemble de mon processus de recherche peut être considéré comme « fluide » plutôt que « soudain ». Je pense que mes propres capacités de recherche se sont améliorées de manière linéaire au fil du temps, à mesure que je m'améliorais et que je m'immergeais davantage dans la culture de Google. C'est comme un processus de diffusion. À ce jour, je crois toujours que l’environnement de recherche est très important.

Tout le monde dit que les « personnes » constituent le plus grand avantage de Google. Je suis tout à fait d'accord. Je suis éternellement reconnaissant à tous mes proches collaborateurs et mentors qui ont joué un rôle énorme dans mon évolution en tant que chercheur et en tant que personne.

Du fond du cœur, je tiens à remercier mon manager actuel (Quoc Le) et mon ancien manager (Don Metzler) de m'avoir donné l'opportunité de travailler ensemble et de toujours m'aider et prendre soin de moi - pas tout comme un subordonné A, mais aussi en tant que personne. Je voudrais également remercier des vétérans tels que Ed Chi, Denny Zhou et Slav Petrov pour m'avoir soutenu tout au long de ce voyage. Enfin, je tiens à remercier Andrew Tomkins, qui m'a repéré et m'a embauché pour rejoindre Google.

Je voudrais également remercier mes amis/collaborateurs les plus proches (Mostafa Dehghani, Vinh Tran, Jason Wei, Hyung Won, Steven Zheng, Siamak Shakeri) pour tous les moments amusants passés avec moi : Partager des sujets chauds, apprendre les uns des autres , rédigez des articles ensemble et discutez de la recherche. ​

Il convient de mentionner que si la vague d'entrepreneuriat modèle d'IA à grande échelle a été lancée à l'étranger, les startups nationales ont également lancé une bataille acharnée pour les talents. Par exemple, certains médias ont révélé que Wang Huiwen, qui vise à construire l'OpenAI chinoise, recrute également des troupes et envisage d'acquérir deux sociétés Tsinghua NLP : Shenyan Technology et Wall-Facing Intelligence. La rubrique Heart of the Machine Talent AI a également appris que les meilleurs laboratoires nationaux d'IA, plusieurs startups et un certain nombre d'institutions d'investissement quantitatif recherchent également activement de grands talents modèles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!