模型只要「變大」就能直通AGI？馬庫斯再次砲轟：三個危機已經顯現！

今年5月，DeepMind發布了一個多模態人工智慧系統Gato，僅靠一套模型參數即可同時執行600多種不同的任務，一時引起業界對通用人工智慧（AGI）的熱議。

DeepMind的研究部主管Nando de Freitas當時還發了一個推特表示，只要不斷提升規模（scale）就能把AI給通關了！

我們要做的只是讓模型更大、更安全、運算更有效率、取樣更快、更聰明的儲存、更多模態、在資料上創新、線上/離線等。

只要解決規模上的問題就能抵達AGI，業界就需要多關注這些問題！

最近，著名AI學者、Robust.AI的創始人兼CEO 、紐約大學的名譽教授Gary Marcus又發表了一篇博客，認為這種說法“為時太早了”，並且已經開始出現危機了！

Marcus對AI產業發展持續關注，但對AI的炒作持批判態度，曾表達過「深度學習撞牆」、「GPT-3完全沒意義」等反對意見。

大模型玩不下去怎麼辦？

Nando認為，人工智慧不需要進行典範轉移，只需要更多的資料、更高的效率和更大的伺服器。

Marcus把這個假設轉述為: 如果沒有根本性的新創新，AGI可能會從更大規模的模型中產生。這個假設也可以稱之為「規模超越一切」(scaling- über-alles)。

他的假設，現在通常被稱為規模最大化（scaling maximalism），仍然非常流行，很大程度上是因為越來越大的模型確實性能很強，例如圖像生成等任務都需要藉助大模型。

但也只是到目前為止。

問題在於，數月甚至數年來不斷提高的一些技術，實際上遠遠不能達到我們所需要的那種規模。

龐氏騙局越來越多，規模帶來的效能優勢只是經驗觀察得出的結果，無法確保正確。

Marcus分享了三個最近看到的前兆，可能預示著規模最大化假說可能將要終結。

1.世界上可能沒有足夠的資料量來支持規模最大化。

這一點很多人已經開始擔心了。

來自紐約大學和蘇黎世聯邦理工大學的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個證明，稱「目前的神經語言模型不太適合在沒有大量數據的情況下提取自然語言的語義」。

論文連結：https://arxiv.org/pdf/2209.12407.pdf

儘管這個證明中包含了太多的前置假設，以至於無法被當作一個反駁證據，但是如果這個假設接近正確的話，那麼在規模上可能很快就會出現真正的麻煩。

2.世界上可能沒有足夠的可用運算資源來支撐規模最大化。

Miguel Solano最近給Marcus寄了一份合作撰寫的手稿，作者認為，要想達到當前的超級基準，例如BIG-bench，將會需要消耗2022年全美國電力消耗的四分之一還多。

倉庫連結：https://www.php.cn/link/e21bd8ab999859f3642d2227e682e66f

BIG-bench是一個眾包的基準資料集，旨在探索大型語言模型並推斷其未來的能力，其中包含200多個任務。

3.一些重要的任務可能根本無法在規模上擴展。

最明顯的例子是最近由Ruis, Khan, Biderman, Hooker, Rocktäschl和Grefenstette共同完成的語言學任務，他們研究了語言的語用意義。

例如對於問題“你留下指紋了嗎?”，收到回答可能是“我戴了手套”，其語義是“不”。

正如Marcus長期以來所主張的那樣，在沒有認知模型和常識的情況下讓模型意識到這一點真的很困難。

規模在這類任務中基本上沒什麼作用，即使是最好的模型也只有80.6%的準確率，對於大多數模型來說，規模的效果最多只能忽略不計。

並且，你可以很容易地想像出該任務的更複雜版本，模型的效能還會進一步降低。

更讓Marcus深受打擊的是，即使是像這樣單一的重要任務，約80%的表現也可能意味著規模的遊戲無法繼續玩下去。

如果模型只是學會了語法和語義，但是在語用或常識推理方面失敗了，那麼你可能根本就無法獲得可信任的AGI

「摩爾定律」並沒有像最初期望的那樣帶領我們走得那麼遠，那麼快，因為它不是宇宙的因果定律，永遠成立。

規模最大化只是一個有趣的假設，它不會讓我們抵達通用人工智慧，例如上述三個問題的解決將會迫使我們進行範式轉換。

網友Frank van der Velde表示，規模最大化的追隨者往往傾向於使用「大」和「更多」這樣模糊的術語。

與人類在學習語言中使用的訓練資料相比，深度學習模型用到的訓練資料太大了。

但與人類語言真正語意集合相比，這些所謂的海量資料仍然微不足道，大約需要100億人每秒生成一句話，持續300年才有可能得到這麼大規模的訓練集。

網友Rebel Science更是直言，規模最大化不是一個有趣的假設，而是一個愚蠢的假設，不僅會輸在AI這條賽道上，而且還會死的很難看。

規模最大化過於極端

哥倫比亞大學哲學系講師、牛津大學博士Raphaël Millière在「規模最大化」問題爭鬥最激烈時也發表了一些自己的看法。

規模最大化曾經被視為深度學習批評家的抓手（例如Gary Marcus），隨著業界人士如Nando de Freitas和Alex Dimakis加入爭論，雙方吵得不可開交。

從業者的反應大多喜憂參半，但並非過於消極，同時預測平台Metaculus上對AGI實現的預測日期已經提前到了歷史最低點(2028年5月) ，這也可能增大了規模最大化的可信度。

人們對「規模」逐漸信任可能是由於新模型的發布，諸如PaLM, DALL-E 2, Flamingo和Gato的成功為規模最大化添了一把火。

Sutton 的「Bitter Lesson」在關於規模最大化的討論中拋出了很多觀點，不過並非完全等價，他認為將人類知識構建到人工智能模型(例如，特徵工程)中的效率低於利用數據和計算來學習的效率。

文章連結：http://www.incompleteideas.net/IncIdeas/BitterLesson.html

雖然並非沒有爭議，但Sutton的觀點似乎很明顯沒有規模最大化那麼激進。

它確實強調了規模的重要性，但是並沒有把人工智慧研究中的每一個問題簡化為僅僅是規模的挑戰。

事實上，很難確定規模最大化的具體含義，從字面上理解，「Scaling is all you need」表明我們不需要任何演算法創新或架構變化就能實現AGI，可以擴展現有的模型，並強制輸入更多的資料。

這種字面上的解釋看起來很荒謬: 即使是像 PalM、 DALL-E 2、 Flamingo或Gato這樣的模型也仍然需要對先前的方法進行架構上的改變。

如果有人真的認為我們可以將現成的自回歸Transformer擴展到 AGI，那真的會讓人感到驚訝。

目前還不清楚認同規模最大化的人覺得AGI需要多大程度的演算法創新，這也使得從這個觀點很難產生可證偽的預測。

擴大規模可能是建構任何應該被貼上「通用人工智慧」標籤系統的必要條件，但是我們不應該把必要誤認為是充分條件。

以上是模型只要「變大」就能直通AGI？馬庫斯再次砲轟：三個危機已經顯現！的詳細內容。更多資訊請關注PHP中文網其他相關文章！