Gary Marcus公開喊話Hinton、馬斯克：深度學習就是撞牆了，我賭十萬美金

「如果有人說（深度學習）撞牆了，那麼他們只需列出一張清單，列出深度學習無法做到的事情。5 年後，我們就能證明深度學習做到了​​。」

6 月1 日，深居簡出的Geoffrey Hinton 老爺子做客UC 伯克利教授Pieter Abbeel 的播客節目，兩人進行了長達90 分鐘的對談，從Masked auto-encoders、AlexNet 聊到脈衝神經網絡等等。

在節目裡，Hinton 明確地對「深度學習撞牆了」這個觀點發起質疑。

「深度學習撞牆了」這個說法，來自知名 AI 學者 Gary Marcus 三月的文章。確切地說，他認為「純粹的端到端深度學習」差不多走到盡頭了，整個 AI 領域必須尋找新出路。

出路在哪裡？按照 Gary Marcus 的想法，符號處理將大有前途。不過這個觀點一向沒有受到社群重視，之前Hinton 甚至說過：「在符號處理方法上的任何投資都是一個巨大的錯誤。」

Hinton 在播客裡的公開「反駁」顯然引起了Gary Marcus 的注意。

就在十幾個小時前，Gary Marcus 在推特上發出了一封給Geoffrey Hinton 的公開信：

信裡是這麼說的：「我注意到，Geoffrey Hinton 正在尋找一些挑戰性的目標。在Ernie Davis 的幫助下，我確實已經寫下了這樣一個清單，上週我還向馬斯克發出了一個100000 美元的賭約。」

這裡又有馬斯克什麼事？原因還要從 5 月底的推特說起。

與馬斯克的十萬美金賭約

一直以來，人們所理解的 AGI 是太空漫遊（HAL）和鋼鐵人（JARVIS）等電影中描述的那種 AI。與目前為特定任務訓練的 AI 不同，AGI 更像人腦，可以學習如何完成任務。

大多數專家認為 AGI 需要幾十年才能實現，而有些人甚至認為這個目標永遠不可能實現。在對該領域專家的調查中，預估到 2099 年將有 50% 的機會實現 AGI。

相較之下，馬斯克顯得更加樂觀，甚至在推特上公開表達：「2029 年是關鍵的一年，如果那時我們還沒有實現AGI，我會感到驚訝。希望火星上的人們也是如此。」

表示不認同的Gary Marcus 很快反問：「你願意賭多少錢？」

雖然馬斯克並沒有回覆這條提問，但Gary Marcus 繼續表示，可以在Long Bets 組局，金額是十萬美元。

在Gary Marcus 看來，馬斯克的相關觀點不大可靠：「例如你在2015 年說過，實現完全自動駕駛的汽車還需要兩年時間，從那以後，你幾乎每年都說一遍同樣的話，可現在完全自動駕駛仍未實現。」

他還在博客中寫下了五個檢驗AGI 是否實現的標準，作為打賭的內容：

• 2029 年，AI 無法看懂電影然後準確告訴你正在發生的事情（人物是誰、他們的衝突和動機是什麼等）；
• 2029 年，AI 無法閱讀小說並可靠地回答有關情節、人物、衝突、動機等的問題；
• 2029 年，AI 無法在任何廚房中擔任稱職的廚師；
• 2029 年，AI 無法通過自然語言規範或與非專家使用者的互動可靠地建構超過10000 行的無錯誤程式碼（將現有程式庫中的程式碼黏合在一起不算數）；
• 2029 年，AI 無法從以自然語言編寫的數學文獻中任意取證，並將其轉換為適合符號驗證的符號形式。

「這是我的建議，如果你（或任何其他人）在2029 年設法完成至少三個，就算你贏了。Deal？十萬美元如何？」

在更多人的追捧下，這個賭約的金額已經上升到了50 萬美元。不過，截至目前，馬斯克再無回覆。

Gary Marcus：AGI 並不像你想像的「近在眼前」

6 月6 日，Gary Marcus 在《科學美國人》發表文章，重申了自己的觀點：AGI 並非近在眼前。

對一般人來說，人工智慧領域似乎正在取得巨大進步。在媒體的報導中：OpenAI 的DALL-E 2 似乎可以將任何文字轉換成圖像，GPT-3 無所不知，DeepMind 5 月發布的Gato 系統在每項任務上都表現良好... DeepMind 的一位高階主管甚至吹噓已開始尋求通用人工智慧(AGI)、AI 具有與人類一樣的智慧水平......

別被騙了。機器有一天可能會和人一樣聰明，甚至可能更聰明，但遠遠不是現在。要創造真正理解和推理現實世界的機器，還有大量的工作要做。我們現在真正需要的是更少的吹捧姿態和更多的基礎研究。

可以肯定的是，人工智慧確實在某些方面取得了進步——合成圖像看起來越來越逼真，語音辨識可以在嘈雜環境中工作——但我們距離通用的人類水平AI還有很長的路要走，例如人工智慧現在還不能理解文章和影片的真正意義，也不能處理意外障礙和中斷。我們仍然面臨 AI 多年來一直存在的挑戰——讓人工智慧變得可靠。

以Gato 為例，給定任務：為投手投擲棒球的圖像加上標題，系統返回三個不同的答案：「一名棒球運動員在棒球場上投球」、「一名男子向棒球場上的投手投擲棒球」和「一名棒球運動員在擊球，一名接球手在一場棒球比賽」。第一個答案是正確的，而其他兩個答案似乎包含圖像中看不到的其他球員。這說明 Gato 系統並不知道影像中的實際內容，而是了解大致相似影像的典型內容。任何棒球迷都能看出這是剛剛投球的投手——雖然我們預計附近有接球手和擊球手，但他們顯然沒有出現在圖像中。

同樣，DALL-E 2 會混淆這兩個位置關係：「藍色立方體頂部的紅色立方體」和「紅色立方體頂部的藍色立方體」。類似地，5 月谷歌發布的 Imagen 模型無法區分「太空人騎馬」和「馬騎太空人」。

當 DALL-E 這樣的系統出錯時，你可能還覺得有些滑稽，但有一些 AI 系統如果出錯，就會產生非常嚴重的問題。例如，一輛自動駕駛的特斯拉最近直接向路中間拿著停車標誌的工人開去，人類駕駛幹預後才能減速。這款自動駕駛系統可以單獨識別人類和停車標誌，但遇到兩者的不尋常組合時就未能減速。

所以，很不幸，AI 系統仍然不可靠，而且難以迅速適應新環境。

Gato 在 DeepMind 報告的所有任務上都表現出色，但很少能像其他當代系統一樣。 GPT-3 經常寫出流利的散文，但仍然難以掌握基本的算術，而且它對現實的了解太少，很容易產生“一些專家認為吃襪子有助於大腦改變狀態”之類令人匪夷所思的句子。

這背後存在的問題是，人工智慧領域最大的研究團隊不再是學術機構，而是大型科技企業。與大學不同，企業沒有公平競爭的動力。他們的新論文沒有經過學術審查就透過新聞發布，引導媒體報道，並迴避同儕審查。我們所獲得的資訊只是企業本身想讓我們知道的事情。

在軟體產業，有一個專門的字代表這種商業策略「demoware」，指軟體的設計很適合展示，但不一定適合現實世界。

而這樣行銷的 AI 產品，要嘛無法順利發布，要嘛在現實中一塌糊塗。

深度學習提高了機器識別資料模式的能力，但它有三大缺陷：學習的模式是膚淺的，而不是概念性的；產生的結果難以解釋；很難泛化。正如哈佛電腦科學家Les Valiant 所指出的：「未來的核心挑戰是統一AI 學習和推理的形式。」

目前，企業追求的是超越基準，而不是創造新的想法，他們用已有的技術勉強進行小幅改進，而不是停下來思考更基本的問題。

我們需要有更多的人詢問「如何建立可以同時學習和推理的系統」等基本問題，而不是追求華麗的產品展示。

這場關於 AGI 的辯論遠未到達終點，也有其他研究者陸續加入。研究者 Scott Alexander 就在部落格中指出，Gary Marcus 是個傳奇，過去幾年寫的東西或多或少不完全準確，但仍然有其價值。

例如 Gary Marcus 先前曾經批判過 GPT-2 的一些問題，八個月後，GPT-3 誕生時，這些問題都得以解決。但Gary Marcus 並沒有對GPT-3 留情，甚至寫了一篇文章：「OpenAI 的語言生成器不知道它在說什麼。」

本質上說，一個觀點目前而言是正確的：「Gary Marcus 以嘲笑大型語言模型為噱頭，但之後這些模型會變得越來越好，如果這個趨勢持續下去，AGI 很快就會實現。」

以上是Gary Marcus公開喊話Hinton、馬斯克：深度學習就是撞牆了，我賭十萬美金的詳細內容。更多資訊請關注PHP中文網其他相關文章！