LLM之戰，Google輸了！越來越多頂尖研究員跳槽OpenAI

前幾天，Google差點遭遇一場公關危機，Bert一作、已跳槽OpenAI的前員工Jacob Devlin曝出，Bard竟是用ChatGPT的資料訓練的。

隨後，Google火速否認。

而這場爭議，也牽出了一場大討論：為什麼越來越多Google頂尖研究員跳槽OpenAI？這場LLM戰役它還能打贏嗎？

知友回覆

萊斯大學博士、知友「一堆廢紙」表示，其實Google和OpenAI的差距，是數據的差距。

「OpenAI對LLM有強大的執念，這是Google這類公司完全比不上的。當然人的差距只是一個方面，數據的差距以及對待數據的態度才是其成功的關鍵。 /arxiv.org/abs/2303.10158

顯然，ChatGPT的成功中，至關重要的一環，就是高品質的標註數據。

「一堆廢紙」介紹，OpenAI對資料和標籤品質的重視程度令人髮指，對標註人員的選擇極為嚴苛（有考試），最後甚至會發放問卷。正是這種執念造就了GPT模型的成功，這是Google根本比不上的。

而隨著上億用戶不斷提供OpenAI新的數據，Google和OpenAI的差距只會越來越大。

Data-centric AI的理念，奠定了OpenAI的成功。

自然語言處理、深度學習主題的優秀答主「張俊林」表示，OpenAI已經把所有人都甩開了一大截。

包括Google在內，其實對於LLM發展理念的理解，明顯都落後OpenAI一個身位。現實是OpenAI表現過於優秀，把所有人都甩開了，不只是國內。我覺得，OpenAI對LLM在理念及相關技術方面，領先國外的Google、DeepMind大約半年到一年的時間，領先國內大概兩年左右的時間。

知乎答主「周道道」表示，Google近期的翻車和OpenAI以對比，必然給了這些頂尖的研究員巨大的震撼。

另外，據說OpenAI相對谷歌也會給研究員更多的資源和更寬泛的要求，畢竟OpenAI更像是一個研究機構，而谷歌更像是把AI當成產品在研發的部門。

而答主「陳大寶」的回答可謂非常札心。

未來商業歷史會記錄兩個又經典又嘲諷的案例：

1.柯達發明了數位相機

2.Google發明了transformer

圖源：「陳大寶」

評論區也驚現了利害關係人。

又有一位匿名人士說到點上了。

知友「飛了豬的」點出來了Google作為大公司的「創新者困境」。

又一利害關係人出現。

知友「周星楠(Bill)」總結道，谷歌這樣的大公司就是要去人材化，基於policy，所有大家都是螺絲釘。

而Insider為我們總結了一篇長文，盤點了這些年從Google人工智慧團隊流失的頂尖人才。

人才都去哪了？

Google為人工智慧領域貢獻了一些很重要的研究。然而，該公司在將創新轉化為產品方面一直進展緩慢。

因此，頂級人工智慧研究人員紛紛離開，前往那些可以產生更大價值和影響的新創公司，例如OpenAI，Character.AI，DeepMind，Cohere，Inceptive。

Google已經處於防守地位，時時刻刻會失去人工智慧領域的領先地位。而頂尖研究人員的離開，更加劇了這個問題。

Cohere的聯合創始團隊Ivan Zhang, Aidan Gomez, 和Nick Frosst

雖然Google可能處於防守模式，但其實它沒必要這樣的。該公司自己創造了許多基礎技術，為ChatGPT等產品提供動力。它還將其研究作為開放原始碼提供，這在某種程度上諷刺了OpenAI的迅速崛起。

由於擔心該技術會對其業務造成聲譽上的損害，Google長期以來一直對發布類似於ChatGPT的聊天機器人猶豫不決。

Google大型語言模型LaMDA背後的兩位研究人員Daniel De Freitas和Noam Shazeer離開了公司，他們對公司遲遲不發布類似ChatGPT的聊天機器人感到沮喪。

其他前Google研究人員也認為，在人工智慧如此令人興奮的時代，新創公司會為研究人員提供成果的所有權，並且自己會發揮更多價值和影響力。

以下是人工智慧領域最引人注目的一些論文，這些論文的研究人員已經離開谷歌去了別的公司。

Ilya Sutskever

「用神經網路進行序列到序列學習」發表於2014年，這篇序列到序列論文探討了訓練語言模型，將一個領域的單字序列轉換為另一個領域的序列。例如，將一個英語句子轉換為法語句子。

Ilya Sutskever領導了這篇論文的研究。他在擔任了近三年的研究科學家後於2015年離開谷歌。 Sutskever是OpenAI的聯合創始人，並繼續作為其首席科學家在那裡工作。

注意是你所需要的一切

#這篇Transformer的重磅論文，如今引用量已經突破七萬次。 Transformer被認為是自然語言處理的突破。它透過同時觀察句子中的每個單字並權衡每個單字的重要性來收集上下文的細微差別，從而幫助人工智慧理解含義。

而ChatGPT中的「T」代表的就是Transformer，足以見得這篇論文的重要性。

不過，本文的八位作者，除了Llion Jones，都已經離開了Google。

Ashish Vaswani在五年後離開了Google大腦（Google的深度學習人工智慧研究團隊），創辦了Adept公司，該公司最近籌集了3.5億美元，建立生成性人工智慧工具，幫助人們更有效地使用生產力軟體。他最近離開了Adept，去了一家隱密的新創公司。

Noam Shazeer現在是Character.AI的CEO。

Niki Parmar在五年後離開Google大腦，擔任Adept公司的共同創辦人和技術官，不過和Vaswani一樣，她最近也離開了，去了一家隱密的創業公司。

Jakob Uszkoreit在Google工作了13年，從事神經網路和深度學習。他現在是Inceptive的共同創辦人，這是一家利用深度學習來設計新療法的新創公司。

Aidan Gomez是Cohere公司的聯合創始人和首席執行官，該公司已經籌集了大約1.6億美元，幫助開發者將生成性人工智慧納入他們的應用程式和網站。他在谷歌大腦做了一年半的研究員。而他在Cohere的共同創辦人Nick Frosst在Google大腦做了四年的研究員。

Lukasz Kaiser在Google大腦工作了7年多後離開了Google大腦，於2021年加入了OpenAI。 Kaiser最近在OpenAI的GPT-4白皮書中被引用為其長語境能力的核心貢獻者，他讓聊天機器人在忘記討論的語境之前，可以進行更長的對話。

Illia Polosukhin在Google大腦從事了三年的深度學習和自然語言理解工作。他在2017年離開，創辦了Pagoda，一個Web3創業平台。

建立一個類似人類的開放網域聊天機器人

這篇論文介紹了Google最初的聊天機器人Meena，探討了聊天機器人如何透過研究從公共社群媒體對話中搜取的數據來學習談論話題。它還介紹了Google創建的一個來評估聊天機器人說話表現的測試。

這篇論文是大語言建模的另一個重要里程碑，作者認為他們可以在沒有硬編碼訓練的情況下，做出一個大語言模型，對問題產生類似人類的反應。

作者之一Daniel De Freitas在Google大腦做了五年的研究員後，擔任Character.AI的共同創辦人和總裁。

De Freitas在Character.AI的同事Romal Thoppilan對本文也有貢獻。

左為Romal Thoppilan；右為Daniel De Freitas

LaMDA：對話應用的語言模型

#################################################################### LaMDA是對話應用的語言模型的縮寫，也是聊天機器人Bard的基礎。它在2020年作為Meena首次演示，但谷歌從未向公眾發布Meena。谷歌人工智慧研究部門的前員工解釋說因為谷歌擔心機器人會發表有害的評論，這會是一場公關的惡夢。 ###############LaMDA背後的幾個主要研究人員已經離開了Google腦。 ###

Daniel De Freitas和Noam Shazeer去年成立了Character.AI這家公司，他們最近籌集了大約2億美元來創建以各種角色形式說話的聊天機器人，從馬斯克到治療師到生活教練的各種角色。

Romal Thoppilan在Google大腦工作了7年之後，擔任Character.AI的創始研究員。

Alicia Jin在接近2022年底時加入Character.AI，擔任研究工程師。她曾在谷歌大腦工作了三年。

BERT

BERT（Bidirectional Encoder Representations from Transformers）建立在自然語言處理的Transformer模型上，經過預先訓練，可以很好地完成兩項任務：掩蔽語言建模和對下一句話的預測。換句話說，BERT試圖預測隱藏的或「被掩蓋的」詞語，迫使演算法努力學習更多關於周圍文本的知識，更好地預測隱藏的詞語。

如果你輸入「你能為別人的藥局買藥嗎」，它將理解「別人」是查詢的一個重要部分。

Google早在2019年就開始將BERT納入搜尋引擎。這是自2015年納入另一種機器學習演算法RankBrain以來，搜尋準確性方面的最大進步之一。

Jacob Devlin是這篇論文的主作者，而他在ChatGPT推出前不久就加入了OpenAI。

T5

T5論文的正式名稱是「用統一的文本到文本Transformer探索轉移學習的極限」，它建立在BERT的基礎上，非常適合翻譯和總結等任務。

領導這篇論文的Colin Raffel在2021年離開之前，在Google大腦擔任了大約五年的研究科學家。目前是聯合國大學教堂山分校的助理教授，每週花一天時間在Hugging Face擔任研究員。 Hugging Face最近宣布，它在2022年5月籌集了1億美元，公司的估值為20億美元。使用者可以在Hugging Face分享大型語言模型和資料集。

T5論文的另一位撰稿人Sharan Narang在Google大腦工作四年後，於2022年離開了那裡。他現在是Meta公司的人工智慧研究員。

一種用於快速晶片設計的圖形放置方法

由谷歌科學家Azalia Mirhoseini和Anna Goldie領導的論文發現，人工智慧可以比人類專家更快完成晶片的設計過程。

兩人領導的另一篇論文《用深度強化學習進行晶片佈局》，提供了一種在晶片設計中使用人工智慧的方法，以最大限度地提高性能，同時最大限度地減少面積和功率的使用。

這些發現有助於Google設計TPU晶片，專門用於機器學習任務。

Mirhoseini和Goldie都在2022年離開谷歌，加入了Anthropic，也是OpenAI的競爭對手，它們正在開發自己的大型語言模型和一個名為Claude的聊天機器人。

DeepMind

#

Mustafa Suleyman是DeepMind的共同創辦人，並擔任該公司的首席產品長。這是一家人工智慧實驗室，於2014年被Google收購。該實驗室開發了AlphaGo，該機器學習程式在圍棋中擊敗了世界冠軍的專業人士。

Google的母公司Alphabet最近在第四季財報中宣布，DeepMind的財務表現將從「其他投資」中獨立出來，這標誌著人工智慧在谷歌未來策略中的重要性。通常情況下，「其他投資」是該公司的新生項目的總稱，這些項目尚未達到盈利水平。

Suleyman一直是確保新人工智慧產品安全的積極倡導者。在DeepMind工作期間，他成立了一個名為DeepMind倫理與社會的研究部門，研究人工智慧的現實影響。 2019年，他因被指控欺負員工而被DeepMind放假。在調查進行期間，他調回Google擔任副總裁。

Suleyman在許多與機器學習有關的研究論文中被引用。 2022年2月，他與LinkedIn的創建者Reid Hoffman共同創立了人工智慧新創公司Inflection。

Google最具開創性的人工智慧論文的許多主要貢獻者已經離開，或是加入了OpenAI等競爭對手，或是創辦了自己的公司。

當OpenAI的ChatGPT於2022年底問世時，Google執行長Sundar Pichai在內部宣布了「紅色預警」，召集公司做出回應。

當時，Pichai表示，Google將毫無疑問地繼續僱用人工智慧領域的頂尖研究人員。

不過失去了這麼多得力幹將，Google是否還能再造輝煌呢？

參考資料：

https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3

#https: //www.zhihu.com/question/592975340/answer/2963265672

https://zhuanlan.zhihu.com/p/597586623

https://www.zhihu.com/ question/592975340/answer/2964598555

以上是LLM之戰，Google輸了！越來越多頂尖研究員跳槽OpenAI的詳細內容。更多資訊請關注PHP中文網其他相關文章！