人工智慧有大事發生，LeCun也轉型了

符號處理是邏輯學、數學和電腦科學中常見的過程，它將思考視為代數運算。近 70 年來，人工智慧領域最根本的爭論就是人工智慧系統應該建立在符號處理的基礎上還是類似人腦的神經系統之上。

其實還有第三種可能作為中間立場的——混合模型。透過將神經網路的數據驅動學習與符號處理的強大抽象能力相結合，混合模型試圖獲得兩全其美的能力。這也是我個人職涯大部分時間的工作方向。

在最近發表於NOEMA 雜誌的一篇文章中，圖靈獎得主、Meta 首席人工智慧科學家Yann LeCun 和LeCun 實驗室的「常駐哲學家」Jacob Browning 也捲入了這場爭論。這篇文章似乎提供了新的替代方案，但仔細檢查後就會發現文章觀點既不新鮮也不令人信服。

Yann LeCun 和Jacob Browning 在發表於NOEMA 雜誌的文章中首次正式回應「深度學習撞牆了」這個觀點，表示「從一開始，批評者就過早地認為神經網路已經遇到了不可翻越的牆，但每次都被證明只是一個暫時的障礙。」

在文章的開頭，他們似乎反對混合模型，混合模型通常被定義為是結合了神經網路深度學習和符號處理的系統。但到最後，LeCun 一反常態，用很多話承認混合系統的存在——它們很重要，它們是一種可能的前進方式，而且我們一直知道這一點。文章本身就是矛盾的。

至於為什麼會出現這種矛盾，我唯一能想到的原因是 LeCun 和 Browning 以某種方式相信：學習了符號處理的模型並不是混合模型。但學習是一個發展中的問題（系統是如何產生的？），而已經發展好的系統如何運作（是用一種機制還是兩種）是一個計算問題：無論以哪種合理的標準來衡量，同時利用了符號和神經網路兩種機制的系統都是一個混合系統。 （也許他們真正想說的是，AI 更像是一種習得的混合系統（learned hybrid），而不是先天的混合系統（innate hybrid）。但習得的混合系統仍然是混合系統。）

在2010 年左右，符號處理被深度學習的支持者看作是一個糟糕的詞；而到了2020 年，了解符號處理的來源成了我們的首要任務。

我認為符號處理要不是與生俱來的，就是其他東西間接地促成了符號處理的獲得。我們越早弄清楚是什麼基礎允許系統學習符號抽象，我們就能夠越早地建立適當利用世界上所有知識的系統，系統也將更安全、更可信和可解釋。

然而，首先我們需要了解人工智慧發展史上這場重要辯論的來龍去脈。

早期的人工智慧先驅Marvin Minsky 和John McCarthy 認為符號處理是唯一合理的前進方式，而神經網路先驅Frank Rosenblatt 認為人工智慧將更能建立在類似神經元的「節點」集合並在可處理資料的結構上，以完成統計資料的繁重工作。

這兩種可能並不互相排斥。人工智慧所使用的「神經網路」並不是字面上的生物神經元網路。相反，它是一個簡化的數字模型，與實際生物大腦有幾分相似，但複雜度很小。原則上，這些抽像神經元可以以許多不同的方式連接起來，其中一些可以直接實現邏輯和符號處理。早在 1943 年，該領域最早的論文之一《A Logical Calculus of the Ideas Inmanent in Nervous Activity》就明確承認了這種可能性。

20 世紀 50 年代的 Frank Rosenblatt 以及 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神經網路作為符號處理的替代方案；Geoffrey Hinton 也普遍支持這一立場。

這裡不為人知的歷史是，早在 2010 年代初期，LeCun、Hinton 和 Yoshua Bengio 對這些終於可以實際應用的多層神經網路非常熱情，他們希望完全消滅符號處理。到 2015 年，深度學習仍處於無憂無慮、熱情洋溢的時代，LeCun、Bengio 和 Hinton 在 Nature 上撰寫了一份關於深度學習的宣言。這篇文章以對符號的攻擊結束，認為「需要新的範式來透過對大型向量的運算取代基於規則的符號表達式運算」。

事實上，當時的 Hinton 非常確信符號處理是一條死胡同，以至於同年他在史丹佛大學做了一個名為「Aetherial Symbols」的演講——將符號比作科學史上最大的錯誤之一。 

類似地，20 世紀 80 年代，Hinton 的合作者 Rumelhart 和 McClelland 也提出了類似的觀點，他們在 1986 年的著作中辯稱：符號不是「人類計算的本質」。

當我在 2018 年寫了一篇文章為符號處理辯護時，LeCun 在 Twitter 上稱我的混合系統觀點“大部分是錯誤的”。彼時，Hinton 也將我的工作比喻為在「汽油引擎」上浪費時間，而「電動引擎」才是最好的前進方式。甚至在 2020 年 11 月，Hinton 還聲稱「深度學習將無所不能」。

因此，當LeCun 和Browning 現在毫不諷刺地寫道：「在深度學習領域工作的每個人都同意符號處理是創建類人AI 的必要特徵」，他們是在顛覆幾十年的辯論史。正如史丹佛大學人工智慧教授 Christopher Manning 所說：「LeCun 的立場發生了一些變化。」

顯然，十年前的方法現在已經不適用了。

2010 年代，機器學習社群中許多人斷言（沒有真正的論點）：「符號在生物學上不可信」。而十年後，LeCun 卻正在考慮一個包含符號處理的新方案，無論符號處理是與生俱來的還是後天習得的。 LeCun 和 Browning 的新觀點認為符號處理是至關重要的，這代表了深度學習領域的巨大讓步。

人工智慧歷史學家應該將 NOEMA 雜誌的文章視為一個重大轉折點，其中深度學習三巨頭之一的 LeCun 首先直接承認了混合 AI 的必然性。

值得注意的是，今年早些時候，深度學習三巨頭的另外兩位也表示支持混合 AI 系統。計算機科學家吳恩達和 LSTM 的創建者之一 Sepp Hochreiter 也紛紛表示支持此類系統。而 Jürgen Schmidhuber 的 AI 公司 NNAISANCE 近期正圍繞著符號處理和深度學習的組合進行研究。

LeCun 和Browning 的文章的其餘內容大致可以分為三個部分：

• 對我的立場的錯誤描述；
• 努力縮小混合模型的範圍；
• 討論為什麼符號處理是後天習得的而非與生俱來的。

例如，LeCun 和Browning 說：「Marcus 認為，如果你一開始沒有符號處理，那你後面也不會有（if you don't have symbolic manipulation at the start, you'll never have it）。」而事實上我在2001 年的《代數思維（The Algebraic Mind）》一書中明確表示：我們不確定符號處理是否是與生俱來的。

他們還稱我預計深度學習「無法取得進一步進展」，而我的實際觀點並不是在任何問題上都不會再有任何進展，而是深度學習對於某些工作（例如組合性問題、因果推理問題）來說本身就是錯誤的工具。

他們還說我認為「符號推理對於一個模型來說是all-or-nothing 的，因為DALL-E 沒有用符號和邏輯規則作為其處理的基礎，它實際上不是用符號進行推理，」而我並沒有說過這樣的話。 DALL·E 不使用符號進行推理，但這並不意味著任何包含符號推理的系統必須是 all-or-nothing 的。至少早在 20 世紀 70 年代的專家系統 MYCIN 中，就有純粹的符號系統可以進行各種定量推理。

除了假設「包含習得符號的模型不是混合模型」，他們還試圖將混合模型等同於「包含不可微分符號處理器的模型」。他們認為我將混合模型等同於「兩種東西簡單的結合：在一個模式完善（pattern-completion）的深度學習模組上插入一個硬編碼的符號處理模組。」而事實上，每個都真正從事神經符號AI 工作的人都意識到這項工作並不是這麼簡單。

相反，正如我們都意識到的那樣，問題的關鍵是建立混合系統的正確方法。人們考慮了許多不同方法來組合符號和神經網絡，重點關注從神經網路中提取符號規則、將符號規則直接轉換為神經網路、構建允許在神經網路和符號系統之間傳遞訊息的中間系統等技術，並重構神經網路本身。許多途徑都正在探索中。

最後，我們來看最關鍵的問題：符號處理是否可以透過學習學得而不需要從一開始就內建？

我直截了當地回答：當然可以。據我所知，沒有人否認符號處理是可以學習的。 2001 年，我在《代數思維》的第 6.1 節中回答過這個問題，雖然我認為這不太可能，但我沒有說這是絕對不可能的。相反，我的結論是：「這些實驗和理論肯定不能保證符號處理的能力是與生俱來的，但它們確實符合這一觀點。」

#總的來說，我的觀點包括以下兩部分：

第一是「可學習性」觀點：在《代數思維》整本書中，我展示了某些類型的系統（基本上是當今更深層系統的前身）未能學得符號處理的各個方面，因此不能保證任何系統都能夠學習符號處理。正如我書中原話：

有些東西必須是與生俱來的。但「先天」和「後天」這兩者並沒有真正的衝突。大自然提供了一套讓我們與環境互動的機制、一套從世界中提取知識的工具，以及一套利用這些知識的工具。如果沒有一些與生俱來的學習工具，我們根本就不會學習。

發展心理學家Elizabeth Spelke 曾說：「我認為一個具有一些內建起點（例如物件、集合、用於符號處理的裝置等）的系統將比純粹的白板更有效地了解世界。」事實上，LeCun 自己最著名的捲積神經網路工作也能說明這一點。

第二點是人類嬰兒表現出一些擁有符號處理能力的證據。在我實驗室的一組經常被引用的規則學習實驗中，嬰兒將抽像模式的範圍泛化了，超越了他們訓練中的具體例子。人類嬰兒隱含邏輯推理能力的後續工作會進一步證實這一點。

不幸的是，LeCun 和 Browning 完全迴避了我這兩個觀點。奇怪的是，他們反而將學習符號等同於較晚習得的東西，例如「地圖、圖像表示、儀式甚至社會角色），顯然沒有意識到我和其他幾位認知科學家從認知科學的大量文獻中汲取的關於嬰兒、幼兒和非人類動物的思考。如果一隻小羊在出生後不久就可以爬下山坡，那麼為什麼一個新生的神經網絡不能加入一點符號處理呢？

最後，令人費解的是，為什麼LeCun 和Browning 會費盡心力地反對符號處理的先天性呢？他們沒有給出反對先天性的強有力的原則性論據，也沒有給出任何原則性的理由來證明符號處理是後天習得的。

值得注意的是，LeCun 的最新研究包容了一些「先天的」符號處理。他最近推出的新架構總體包含六個模組，其中大部分是可調的，但所有模組都是內建的。

此外，LeCun 和 Browning 也沒有具體說明如何解決語言理解和推理中眾所周知的特定問題，因為語言模型沒有先天的符號處理機制。

相反，他們只是用歸納的原則說明深度學習的作用：「由於深度學習已經克服了 1 到 N 的問題，我們應該相信它可以克服 N 1 的問題」。

這種觀點的說服力很弱，人們真正應該思考和質疑的是深度學習的極限。

其次，還有一些強而有力的具體理由可以說明深度學習已經面臨原則上的挑戰，即組合性、系統性和語言理解問題。這些問題依賴「泛化」和「分佈偏移（distribution shift）」。領域內的每個人現在都認識到分佈偏移是當前神經網路的致命弱點。這也是《代數思維》一書中對當今深度學習系統的先驅觀點。

實際上，深度學習只是建立智慧機器的一部分。這類技術缺乏表徵因果關係（例如疾病與其症狀之間關係）的方法，並且可能在獲取抽象概念方面存在挑戰。深度學習沒有明顯的邏輯推理方式，距離整合抽象知識還有很長的路要走。

當然，深度學習已經取得了許多進展，它擅長模式識別，但在推理等一些基本問題上進展還遠遠不夠，系統仍然非常不可靠。 

以Google開發的新模式 Minerva 為例，它在訓練時有數十億個 token，但仍難以完成 4 位數相乘的問題。它在高中數學考試中獲得 50% 的正確率，但被吹噓為“重大進步”。因此，深度學習領域仍很難建構起一個掌握推理與抽象的系統。現在的結論是：不只是深度學習有問題，而是深度學習「一直都有問題」。

在我看來，符號處理的情況可能與以往一樣：

在「代數思維」 20 年的影響下，目前的系統仍然無法可靠地提取符號處理（例如乘法），即使面對龐大的資料集和訓練也是如此。人類嬰幼兒的例子表明，在正規教育之前，人類是能夠歸納複雜的自然語言和推理概念的（假定是符號性質的）。

一點內建的符號主義可以大幅提高學習效率。 LeCun 自己在卷積方面的成功（對神經網路連接方式的內建約束）很好地說明了這種情況。 AlphaFold 2 的成功一部分源自於精心建構的分子生物學的先天表徵，模型的作用是另一部分。 DeepMind 的一篇新論文表示，他們在建構關於目標的先天知識系統推理方面取得了一些進展。

而 LeCun 和 Browning 所說的都沒有改變這一切。

退一步看，世界大致可以分為三個部分：

• 在工廠完全安裝了符號處理設備的系統（例如幾乎所有已知的程式語言）。
• 具有先天學習裝置的系統缺乏符號處理，但在適當的資料和訓練環境下，足以獲得符號處理。
• 即使有足夠的訓練，也無法獲得完整的符號處理機制的系統。

目前深度學習系統屬於第三類：一開始沒有符號處理機制，過程中沒有可靠的符號處理機制。

當 LeCun 和 Browning 意識到擴展的作用，即添加更多層、更多數據，但這是不夠的，他們似乎同意我最近反對擴展的論點。我們三個人都承認需要一些新的想法。

此外，在宏觀層面上，LeCun 最近的主張在許多方面都非常接近我在 2020 年的主張，即我們都強調感知、推理和擁有更豐富世界模型的重要性。我們都認為符號處理扮演著重要角色（儘管可能不同）。我們都認為目前流行的強化學習技術無法滿足全部需求，單純的擴展也是如此。

符號處理最大的差異在於需要固有結構的數量，以及利用現有知識的能力。符號處理希望盡可能利用現有知識，而深度學習則希望系統盡可能從零開始。

早在2010 年代，符號處理在深度學習支持者中還是一個不受歡迎的詞，21 世紀20 年代，我們應該將了解這一方法來源作為首要任務，即使是神經網路最狂熱的支持者已經認識到符號處理對實現AI 的重要性。一直以來神經符號社群一直關注的問題是：如何讓數據驅動的學習和符號表示在一個單一的、更強大的智慧中協調一致地工作？令人興奮的是，LeCun 最終承諾為實現這一目標而努力。

原文連結：https://www.noemamag.com/deep-learning-alone-isnt-getting-us-to-human-like-ai/

以上是人工智慧有大事發生，LeCun也轉型了的詳細內容。更多資訊請關注PHP中文網其他相關文章！