'Yi Tay：離開Google，踏上創業之路，三年發表16篇高品質論文的科學家'

在GPT-4 發布的第二天，圖靈獎得主Geoffrey Hinton 貢獻了一個精彩的比喻：「毛毛蟲從食物中提取營養，然後變成蝴蝶。人們已經提取了數十億條理解的線索，GPT-4 是人類的蝴蝶。」

短短兩週，這隻蝴蝶似乎已經在各個領域掀起颶風。相應地，AI 產業迎來了新一波創業潮。其中不乏從谷歌等大廠走出來的創業家。

如果你常讀 AI 大模型方向的論文，Yi Tay 想必是個熟悉的名字。作為Google大腦高級研究科學家，Yi Tay 為許多知名的大型語言模型和多模態模型做出了貢獻，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

根據 Yi Tay 個人的統計，在谷歌大腦的 3.3 年裡，他總共參與撰寫了大約 45 篇論文，是其中 16 篇的一作。一篇論文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

和大多數離開Google自主創業的Transformer 作者一樣，Yi Tay 也找到了一個合適的時間點離開，邁向新的人生旅程。

在一篇部落格文章裡，Yi Tay 官宣了自己離職的消息，並在更新後的個人資料中透露了下一步的動向：參與創辦一家名為Reka的公司，並擔任該公司的首席科學家，主攻大型語言模型。

Yi Tay 也透露，Reka 總部位於舊金山灣區，由強大的前 DeepMind、FAIR、Google大腦研究人員和工程師組成的團隊共同創立。

除了Yi Tay，香港大學電腦系助理教授劉琦也在自己的個人主頁中提到，他正在參與創建一個名為「Reka」的公司，致力於多模態基礎模型的開發。讀博期間，劉琦曾在Google實習過一段時間，和 Yi Tay 合著《Quaternion Knowledge Graph Embedding》等論文。

由於「Reka」的官網還沒辦法打開，我們暫時無法取得更多關於該公司的資訊。

在告別谷歌之際，Yi Tay 心懷感激地寫下了一篇博客，表示離開谷歌確實有一種畢業的感覺，因為他從谷歌以及他出色的同事、導師、經理那裡學到了很多。

Google對我來說永遠是特別的，因為這是我學會進行真正出色研究的地方。我回想起我第一次加入的時候，當我在如此近的地方看到這麼多著名的、有影響力的論文的作者時，我就像一個粉絲遇到了喜歡的明星。這對我來說是一個很大的感官刺激，具有很強的激勵性和啟發性。直到今天，我仍然很感激我能和他們中的許多人一起工作和學習，至少在他們中的大多數人離開之前。

我學到了很多。

從更廣泛的角度來看，我了解了進行關鍵研究的重要性以及如何推動研究朝著產生具體影響的目標發展。在大學裡，我們只被告知必須投中 N 篇會議論文（才能畢業或做其他事情）。在谷歌，事情必須落地，並且必須產生實際影響。

對我來說，這裡最大的啟發是關於如何以端到端的方式擁有研究創新過程，即從想法到論文/ 專利，再到生產，最後為用戶服務。在很大程度上，我認為這個過程讓我成為了一個更好的研究者。

如果一定要形容我的成長，我覺得我的整個研究歷程可以說是「平滑的」而不是「突然湧現的」。我認為隨著時間的推移，我自己的研究能力逐漸線性提高，因為我變得越來越好，而且我更沉浸在Google文化中。這就像一個擴散（diffusion）過程。直到今天，我仍然相信研究環境非常重要。

大家都說「人」是Google最大的福利。我完全同意。我永遠感謝我所有親密的合作者和導師，他們在我作為研究人員和個人的成長過程中發揮了巨大的作用。

從內心深處，我感謝我的現任經理(Quoc Le) 和我的前任經理(Don Metzler) 給我機會一起工作，感謝他們一直以來幫助我、照顧我—— 不只是作為一個下屬，也作為一個人。我還要感謝 Ed Chi、Denny Zhou 和 Slav Petrov 等資深人士在整個旅程中對我的支持。最後，我要感謝 Andrew Tomkins，他看中了我，並聘請了我加入 Google。

我還要感謝我最親密的朋友 / 合作者（Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri），感謝他們和我一起度過所有的愉快時光：分享熱門主題，互相學習，一起寫論文，以及討論研究。

值得一提的是，在國外掀起 AI 大模型創業潮的同時，國內新創公司也展開了激烈的人才搶奪戰。例如有媒體爆出，志在打造中國 OpenAI 的王慧文也在招兵買馬，計畫收購兩家清華 NLP 公司：深言科技、面壁智慧。而機器之心 Talent AI 欄位也了解到國內頂尖 AI 實驗室、多家新創公司以及一群量化投資機構也都在積極尋找大模型人才。

以上是'Yi Tay：離開Google，踏上創業之路，三年發表16篇高品質論文的科學家'的詳細內容。更多資訊請關注PHP中文網其他相關文章！