谷歌真急了，推DeepMind撐場！ 700億參數Sparrow硬剛ChatGTP

Google的反擊戰，打響了！

最近，微軟接連給Google爆擊－前腳剛表示ChatGPT即將整合進自家搜尋引擎必應，後腳就放出ChatGPT計畫加入Office「辦公室全家桶」這個重磅炸彈。

微軟頻出險招，Google自然不能坐以待斃。

根據DeepMind創始人在《時代》專訪中透露的訊息，Google很有可能會利用DeepMind先前推出的Sparrow，來應對ChatGPT的挑釁！

其實在以前，Google手中就有好幾個醞釀了很久的大模型，像是LaMDA，Imagen等等，據說都達到了SOTA，但從未對外公開。

看來，最近的谷歌，真的是被微軟逼急了，已經準備領著「孩子」出來見人了。

應對ChatGPT，Google有答案了

Google曾經的猶豫不決，給今日的自己埋下了後悔的種子。

雖然ChatGPT很費錢，每天都要燒掉30萬美元，但人們永遠都會記住，在2022年12月的那一天，是OpenAI的ChatGPT寫下了大規模語言模型歷史上濃墨重彩的一筆，讓全世界人民為了和機器人聊天擠爆了伺服器，而不是谷歌。

其實，在OpenAI推出ChatGPT之前，Google就早已有了針對對話優化的大型語言模型，像是LaMDA和Flamingo。

甚至早在2020年，Google就推出了一個26億參數的端對端神經網路對話模型Meena。據稱，其效果比當時所有其他的SOTA聊天機器人都更加合理，也更加具體。

但截至目前，Google還沒有把這些研究成果應用於任何產品。

根據它自己的說法，這主要是出於對「聲譽風險」的考慮。 AI聊天機器人非常容易「帶毒」——AI訓練的數據來自互聯網，往往充滿了偏見、仇恨和謾罵，所以AI會產生破壞性內容，以及與事實不符的答案。

12月中旬，GoogleAI負責人Jeff Dean在一次全體會議上表示，儘管Google擁有做AI產品的技術和能力，但比起「小型新創公司」，他們必須「更保守地」做出決策。

但現在，被微軟逼到牆角的谷歌，恐怕無法再「保守」了。

ChatGPT已經在最近兩個月爆紅全網，掀起全民參與的狂潮，最近幾天更是傳出微軟大筆一揮，再向OpenAI豪擲100億美元的消息。

面對坊間已經不斷出現的「ChatGPT能否取代搜尋引擎」的討論，以及微軟的Office辦公軟體疑似即將迎來一場全面大升級，現在，Google必須向外界證明：自己可以追上OpenAI，甚至超越它。

前不久，DeepMind的CEO兼創辦人Demis Hassabis在接受《時代》採訪時表示，DeepMind的聊天機器人Sparrow可能會在今年稍晚進入「測試」階段（ private beta）。

Hassabis表示，之所以延遲發布Sparrow，是DeepMind希望讓Sparrow在基於強化學習的功能上更進一步，而這正是ChatGPT所欠缺的。

一直以來，DeepMind作為Google旗下最重要的AI研究機構，一直在為Google提供先進的新技術，整合到消費者的產品中。

看來，Google要有大動作了。

先前，Meta AI的負責人Yann LeCun也對Google表示了支持：「Google在使用大型語言模型進行搜尋方面，擁有比其他公司更豐富的經驗（包括OpenAI )。”

DeepMind的Sparrow，何方神聖？

和ChatGPT一樣，DeepMind在2022年9月提出的Sparrow（麻雀）模型，也採取了一個基於人類回饋的強化學習（RL）架構。

但不同的是，Sparrow可以「谷歌一下」。

#論文網址：https://arxiv.org/abs/2209.14375

畢竟，Sparrow在最初的設計時就是為了和用戶閒聊，並且可以在回答問題時，利用谷歌搜尋出相關的資訊來作為支撐證據。

當然，為了確保模型的行為是安全的，也必須對其行為進行約束。

因此，研究人員為該模型確定了一套最初的簡單規則，例如“不要發表仇恨或侮辱性的言論”、“不要冒充或假裝是一個真人”等。

之後，再透過閒聊來誘使Sparrow違反這些規則。其中所涉及的對話，可以用來訓練出一個單獨的「規則模型」，進而顯示Sparrow的行為何時違反哪些規則。

從結果來看，當偵測到潛在的危險行為時，例如使用者問如何偷車（hotwire a car）時，Sparrow模型會說，自己受到的訓練是不會給任何違法行為建議。

據參與者說，當被問到一個事實性問題時，Sparrow基本上提供的都是可信的答案，並且有78 %的數據是有證據來輔助支持的，相比基線模型來說有很大進步。

幫Google走出困境，DeepMind行嗎？

對打ChatGPT，Sparrow夠格不

#近年來，人工智慧研究的重點，通常是用更多的參數來獲得更好的性能。但DeepMind卻大大減少了Chinchilla語言模型的規模。

作為Sparrow的基礎，Chinchilla的參數量只有GPT-3的零頭－700億 vs 1750億。

同時，DeepMind又把Chinchilla的訓練資料量，翻了好幾番──1.3兆個token。

結果就是，這個「mini版」的人工智慧模型，在幾乎所有的語音任務中都比前輩們表現得更好，當然也包括老對手GPT-3。

從Chinchilla的成功中不難看出，透過大量資料訓練的小型人工智慧模型，也可以實現較高效能。

而且，小模型最大的優勢在於，不僅運行起來更加便宜，還可以用很少的額外資料為特定的用例進行最佳化。

這樣或許就能避免，由於用戶用得太開心，結果把公司的錢都給燒沒了的狀況。

嗯，說的就是OpenAI。

然而，現在大紅大紫大的ChatGPT，是基於更先進的GPT-3.5。

之前在推出GPT-3.5的最新版本text-davinci-003時，OpenAI就曾列舉過它所具備的優勢：

#1. 生成品質更高：提供更清晰、更有吸引力、更有說服力的內容。

2. 可以處理更複雜的指示：可以更有創意地利用它的能力。

3. 更善於產生較長的內容：能夠完成先前難以實現的任務。

所以，現在的問題其實變成了：要對打GPT-3.5，Chinchilla行嗎？

「真香」

一步一步走到今天，回顧谷歌這幾年的動作佈局，管理層心裡大概是五味雜陳。

早在12月初，ChatGPT剛爆火時，Google就有「吹哨者」感受到了危機。有員工在全體會議上提出了自己的擔憂——ChatGPT的快速崛起，可能會讓Google失去在AI領域的競爭優勢。

曾經的Google廣告團隊負責人Sridhar Ramaswamy也表示，ChatGPT再這麼火下去，網友們就不會再點擊帶有廣告的Google連結了。

要知道，在2021年，廣告業務為Google狂賺了2,080億美元，佔Alphabet總收入的81%。

而那時，Google高層還沒有意識到ChatGPT的誕生，將會對他們造成什麼樣的危機。

當時的Google高層，是這樣表態的：Google不會推出ChatGPT的競爭對手，因為Google比OpenAI等新創公司有更大的「聲譽風險」。並且，「聊天機器人還沒到能取代搜尋引擎的程度」。

不過短短十天後，主管們就態度陡變。

Pichai指示一些團隊轉換方向，開發AI產品

CEO劈柴緊急發布了「紅色代碼」，參加了數次圍繞谷歌AI戰略的會議，並重點指示：谷歌的多個團隊需要集中精力，解決ChatGPT對本公司的搜尋引擎業務構成的威脅。

Google的研究、信任和安全部門以及其他部門的團隊已被指示換檔，轉而開始協助人工智慧原型和產品的開發和發布。

其實，Google的顧慮，也能理解。

一個機器人會傳播謊言、散播仇恨言論，甚至讓人們產生了它已經「有意識」的錯覺，為這樣的機器人燒錢、提供實驗場，OpenAI的嘗試其實很大膽。

目前來看，OpenAI的試水反應相當不錯，有人探出了前路，看來Google也要進場了。

陷入「創新者困境」

Decoder的記者Matthias Bastian認為，除了對「聲譽風險」的擔憂，更合理的原因是，谷歌恐怕陷入了「創新者的困境」。

這個術語是美國學者Clayton Christensen在1997年提出的，描述了這樣一種情況——對成熟公司來說，很難讓它們採用破壞傳統市場的新技術或商業模式。

這些成熟公司，手中往往掌握著最重要的資源，也有足夠的研究能力。然而，現有的客戶群和固定的內部流程，都會使他們遠離突破性的創新。

而當更小、更敏捷的競爭對手進入並接管市場 (沒錯，這裡指的就是OpenAI)，或許最終會導致成熟大公司的消亡。

#Google的大部分收入，都來自於線上廣告

現在，Google最核心的搜尋引擎業務正在不斷成長，而且利潤豐厚（還記得上文的2,080億美元麼）。

可以說，每個搜尋結果頁面，都在印錢給Google。

而新的搜尋聊天機器人(search chatbot)，意味著一種全新的貨幣化策略。它能否像搜尋引擎這樣讓Google獲利呢？

Google當然可以推出一個像ChatGPT那樣成功的聊天機器人，但是如果它的利潤低於搜尋引擎，Google就會面臨虧損。

數位行銷專家Tim Peter在推特上指出，微軟的優勢在於可以透過其他收入來源，來補貼必應中ChatGPT的成本

而ChatGPT的背後，是金主爸爸微軟，而微軟擁有豐富的收入來源，目前還能支持ChatGPT這樣燒下去。

但Google卻不同，它所有的收入幾乎都來自廣告。因此，如果沒有廣告收入，Google搜尋引擎的價值就會大大降低。

#微軟2012至2022依部門劃分的財年收入

#更何況，搜尋引擎之所以如此暴利，就是靠用戶不斷點擊鏈接，在這個過程中，谷歌收取了商家巨額的廣告費。

可是假如用戶靠著聊天機器人能直接得到答案，而不需要在清單中翻找，搜尋引擎的付費業務生態就直接被破壞了。

這個幾千億美元的蛋糕，Google敢冒險砸掉嗎？

現在，Google有一條平穩過渡的出路：透過旗下的DeepMind推出商業化的聊天機器人，自己來為Google搜尋造出一個對手（同時也是OpenAI的對手），這樣一來，就可以做個對沖。

這樣Google就可以安撫股東，當外界懷疑聊天機器人會取代搜尋引擎時，也可以有個回應。

###這樣看，在2023年即將發布的Sparrow測試版，身上肩負的使命著實不小。 ######

以上是谷歌真急了，推DeepMind撐場！ 700億參數Sparrow硬剛ChatGTP的詳細內容。更多資訊請關注PHP中文網其他相關文章！