Yann LeCun稱巨型模型不能實現智力接近人類的目標

「语言只承载了所有人类知识的一小部分；大部分人类知识、所有动物知识都是非语言的；因此，大语言模型是无法接近人类水平智能的，」这是图灵奖得主 Yann LeCun 对于人工智能前景的最新思考。

昨天，他与纽约大学博士后 Jacob Browning 合著的新文章发表在《NOEMA》上，引发了人们的讨论。

在文章中，作者讨论了当前流行的大规模语言模型，认为其存在明显的极限。未来 AI 领域努力的方向或许应该是让机器优先理解真实世界其他层面意义上的知识。

让我们看看他们是怎么说的。​

前段时间，前谷歌 AI 伦理研究员 Blake Lemoine 声称 AI 聊天机器人 LaMDA 像人一样具有意识，这在领域内掀起了轩然大波。

LaMDA 实际上是一种大型语言模型 (LLM)，旨在预测任何给定文本下一个可能的词。由于许多对话在某种程度上是可预测的，因此这些系统可以推断出如何使对话保持高效。LaMDA 在这类任务上做得非常出色，以至于 Blake Lemoine 开始怀疑 AI 是否存在「意识」。

领域内的研究者对于这件事持有不同的看法：一些人对机器有意识的想法嗤之以鼻；一些人认为 LaMDA 模型或许没有，但下一个模型可能有意识。还有一些人指出机器「欺骗」人类这件事并不难。

人们反应的多样性凸显了一个更深层次的问题：随着 LLM 变得越来越普遍和强大，我们对这些模型的观点似乎越来越难达成一致。多年来，这些系统已经超越了许多「常识」语言推理基准，但这些系统在测试时似乎很少有承诺的常识，甚至容易出现胡说八道、提出不合逻辑、危险的建议。这就引出了一个令人不安的问题：这些系统怎么会如此智能，能力却又如此有限？​

实际上，最根本的问题并不在于人工智能，而是在于语言的有限性。一旦我们放弃了关于意识和语言之间联系的假设，这些系统就注定只能有关于世界的肤浅理解，永远无法接近人类的「全面思维」。简而言之，尽管这些模型已经是地球上最令人印象深刻的人工智能系统，但这些 AI 系统永远不会像我们人类一样智能。

在 19 世纪和 20 世纪的大部分时间里，哲学和科学领域的一个主要主题是：知识仅仅是语言。这意味着理解一件事只需理解一句话的内容，并将这句话与其他句子关联起来。按照这种逻辑，理想的语言形式将是由严格的推理规则连接的任意符号组成的逻辑数学的形式。

哲学家 Wittgenstein 说过：「真命题的总和是自然科学。」这一立场是在 20 世纪确立的，后来引起了很多争议。

一些受过高等教育的知识分子仍然持有观点：「我们所能知道的一切都可以包含在百科全书中，因此只要阅读百科全书的所有内容就能让我们对所有事物都有全面的了解。」这种观点还激发了 Symbolic AI 的许多早期工作，其中将符号处理作为默认范式。对于这些研究人员来说，人工智能知识由大量真实句子的数据库组成，这些真实的句子通过手工逻辑相互连接，人工智能系统的目标就是在正确的时间输出正确的句子，即以适当的方式处理符号。

这个概念是图灵测试的基础：如果一台机器「说」出了它应该说的一切，这意味着它知道它在说什么，因为知道正确的句子以及何时使用它们会用到上述人工智能知识。

但这种观点遭到了严厉的批评，反驳的观点认为：机器可以谈论事情，并不意味着它理解正在谈论的内容。这是因为语言只是一种高度具体且非常有限的知识表征。所有语言，无论是编程语言、符号逻辑语言还是日常口语——都开启了特定类型的表征模式；它擅长以极高的抽象水平表达离散的对象和属性以及它们之间的关系。

然而，所有的表徵模式都涉及對事物資訊的壓縮，但壓縮中留下和遺漏的內容各不相同。語言的表徵模式可能會遺漏一些具體的資訊作，例如描述不規則的形狀、物體的運動、複雜機制的功能或繪畫上細緻入微的筆觸等等。而一些非語言的表徵方案可以以一種易於理解的方式表達這些訊息，包括標誌性知識、分佈式知識等。

語言的限制

要了解語言表徵模式的缺陷，首先要認識語言傳遞的訊息有多少。事實上，語言是一種傳遞訊息的頻寬非常低的方法，特別是在沒有上下文的情況下，孤立的單字或句子傳達的訊息很少。此外，由於同音詞和代名詞的數量眾多，許多句子的意思都非常模稜兩可。正如喬姆斯基等研究者所指出的：語言並不是清晰明確的溝通工具。

但是人類不需要完美的溝通工具，因為我們共享對非語言的理解體系。我們對句子的理解通常取決於對句子所在語境的深入理解，從而使我們能夠推斷語言表達的含義。我們常常直接談論眼前的事情，例如足球比賽。或在某種情況下面向社會角色進行交流，例如從服務生那裡點菜。

閱讀文本段落也是如此——這種任務破壞了人工智慧獲得常識的管道，但卻是向兒童教授無上下文閱讀理解技能的流行方法。這種方法著重於使用一般閱讀理解策略來理解文本——但研究表明，兒童對主題的背景知識量實際上是理解的關鍵因素。理解一個句子或段落正確與否取決於主題內容的基本掌握。

「很明顯，這些系統深陷於膚淺的理解，永遠不會接近人類所有的全面思維。」

##單字和句子固有的上下文性質是LLM 工作的核心。神經網路通常將知識表示為專有技術，即掌握對上下文高度敏感的模式，並總結規律（具體和抽象）的熟練能力，這些規律對於以精細方式處理輸入是必要的，但只適合有限的任務。

在LLM 中，這有關係統在現有文本的多個層次上識別模式，既看到單字在段落中的聯繫，也要看到句子是如何在構成它們的大段落中是如何連結在一起的。結果是模型對語言的掌握不可避免地是上下文相關的。每個單字的理解不是根據其字典含義，而是根據它在各種句子中的作用來理解。由於許多單字——例如“化油器”、“菜單”、“調試”或“電子”——幾乎只用於特定領域，即使是帶有其中一個詞的孤立句子也會在預測上帶出上下文。

簡而言之，LLM 訓練後可以了解每個句子的背景知識，並查看周圍的單字和句子來拼湊正在發生的事情。這使得他們可以無限可能地使用不同的句子或短語作為輸入，並提出合理（儘管很難沒有缺陷）的方式來繼續對話或填寫文章的其餘部分。一個根據人類書寫的段落訓練，用作日常交流的系統，應該擁有能夠高品質對話所必需的一般理解能力。

淺薄的理解

有些人不願在這種情況下使用“理解”一詞或稱LLM 為“智能”，目前還不能說語義理解說服了任何人。批評者指責這些系統在進行某種模仿——這是正確的。這是因為 LLM 對語言的理解雖然令人印象深刻，但卻很膚淺。這種膚淺的認識似曾相識：教室裡到處都是「說行話」的學生，他們不知道自己在說什麼——實際上是在模仿他們的教授或他們正在閱讀的課文。這只是生活的一部分。我們常常不清楚我們知道些什麼，尤其是在從語言中獲得的知識方面。

LLM 對所有事物都獲得了這種膚淺的理解。像 GPT-3 這樣的系統是透過屏蔽句子一部分，或預測段落中下一個單字來進行訓練的，這樣迫使機器猜測最有可能填補空白的單詞，並糾正錯誤的猜測。該系統最終會熟練地猜測最可能的單詞，從而使自己成為有效的預測系統。

這帶來了一些真正的理解：對於任何問題或謎題，通常只有少數正確答案，但錯誤答案無限多。這迫使系統學習特定於語言的技能，例如解釋笑話、解決單字問題或解決邏輯難題，以便定期預測這些類型問題的正確答案。

這些技能和相關知識讓機器能夠解釋複雜事物的工作原理、簡化困難的概念、改寫和複述故事，並獲得許多其他與語言相關的能力。正如 Symbolic AI 所假設的那樣——機器不是由邏輯規則連結的龐大的句子資料庫，而是將知識表示為上下文高亮內容，用於在給定前一行的情況下提出合理的後一個句子。

「放棄所有知識都是語言的觀點，讓我們意識到我們的知識中有多少是非語言的。」

但是用語言解釋一個概念的能力不同於實際使用它的能力。系統可以解釋如何執行長除法，同時也可以實際上自己不會做，或解釋哪些是與之抵觸的，卻又能愉快地持續解釋。語境知識以一種形式嵌入──即口述語言知識的能力──但不嵌入另一種形式──作為如何做事的技巧，例如善解人意或敏感地處理困難問題。

後一種專業知識對語言使用者來說是必不可少的，但這並不能使他們掌握語言技能－語言​​成分並不是主要的。這適用於許多概念，甚至是從講座和書籍中學到的概念：雖然科學課確實有講授的成分，但學生的得分主要基於他們在實驗室的工作。特別是在人文學科之外，能夠談論某事通常不如讓事情正常工作所需的基本技能有用或重要。

一旦我們深入探究，就能輕易看出這些系統其實是多麼的淺薄：它們的注意力範圍和記憶大約相當於一個段落。如果我們進行對話，很容易忽略這一點，因為我們傾向於只專注於最後一兩則評論，應付下一個回應。

但是，更複雜的對話的訣竅——積極傾聽、回憶和重新審視之前的評論、堅持一個主題以提出一個特定的觀點，同時避免干擾等等——都需要比機器擁有的更多的注意力和記憶力。

這進一步減少了它們可以理解的類型：很容易透過每隔幾分鐘就換話題、更改語言或陰陽怪氣來欺騙他們。如果退太多步，系統將重新從頭開始，把你的新觀點與舊評論混為一談，與你切換聊天語言或相信你所說的任何內容。發展一個連貫的世界觀所必需的理解遠遠超出了機器的能力範圍。

語言之外

放棄所有知識是語言的觀點，這讓我們意識到我們的知識中有相當部分是非語言的。雖然書籍包含許多我們可以解壓和使用的信息，但許多其他物品也是如此：宜家的說明書甚至懶得在圖示旁邊寫說明文字，AI 研究人員通常會先看論文中的圖表，掌握網絡架構，然後再瀏覽文本，旅行者可以按照地圖上的紅線或綠線導航到想去的地方。

這其中的知識超越了簡單的圖示、圖表和地圖。人類直接從探索世界中學到了很多東西，向我們展示了物質和人能與不能表現的東西。物質的結構和人類環境直觀地傳達了很多訊息：門把手在手的高度，錘子的把手更軟等等。動物和人類的非語言心理模擬對於規劃場景很常見且有用，可用於製作或逆向工程人工製品。

同樣，透過模仿社會習俗和儀式，我們可以將各種技能傳授給下一代，從準備食物和藥物到在緊張時期平靜下來。我們的許多文化知識是標誌性的，或者說是以從熟練的從業者傳授給學徒精確動作的形式。這些微妙的訊息模式很難用語言表達和傳達，但其他人仍然可以理解。這也是神經網路擅長拾取和完善的上下文相關資訊的精確類型。

「一個只受過語言訓練的系統永遠不會接近人類的智能，即使從現在開始一直訓練到宇宙的熱寂。」

#語言很重要，因為它可以以小格式傳達大量訊息，特別是在印刷術和網路出現之後，它能做到內容的複製和廣泛分發。但是用語言壓縮訊息並不是沒有成本的：解碼一個密集的段落需要付出很多努力。人文課可能需要大量課外閱讀，大部分課堂時間需要花在閱讀困難的段落上。建立深入的理解既費時又費力，但提供了資訊。

這解釋了為什麼受過語言訓練的機器可以知道這麼多，卻又什麼也不懂——它是在透過一個微小的瓶頸獲取一小部分人類知識。但人類知識的那一小部分可以是關於任何事物的，無論是愛情還是天文物理學。因此它有點像鏡子：它給人一種深度的錯覺，幾乎可以反射任何東西，但它只有一公分厚。如果我們試著探索它的深處，我們就會撞牆。

做對的事

這並不會使機器變得更傻，但也顯示它們的智慧程度有內在的限制。一個僅接受語言訓練的系統永遠不會接近人類的智能，即使從現在開始一直訓練到宇宙的熱寂。這是一個錯誤的知識體系建構方式。但如果我們只停留在表面上，機器無疑似乎會接近人類。而且在許多情況下，表面就足夠了。我們很少有人真正將圖靈測試應用到其他人身上，積極地質疑他們的理解深度，並強迫他們做多位數乘法問題。大多數談話都是閒聊。

但是，我們不應將LLM 所擁有的膚淺理解與人類透過觀察世界的精彩、探索世界、在其中實踐以及與文化和其他人互動所獲得的深刻理解混為一談。語言可能是擴展我們對世界理解的有用組成部分，但語言並不會窮盡智力，從許多物種行為上我們都能理解這樣的觀點，例如鴉科動物、章魚和靈長類動物。

相反，深刻的非語言理解是語言有意義的必要條件。正是因為人類對世界有深刻的理解，所以我們很快就能理解別人在說什麼。這種更廣泛、對情境敏感的學習和知識是一種更基礎、更古老的知識，它是實體生物感知能力出現的基礎，讓生存和繁榮成為可能。

這也是人工智慧研究者在尋找人工智慧中的常識時所關注的更重要的任務。 LLM 沒有穩定的身體或世界可以感知——所以它們的知識更多是以單字開始和結束，這種常識總是膚淺的。我們的目標是讓 AI 系統專注於所談論的世界，而不是單字本身——但 LLM 並沒有掌握其中的差異。僅通過語言是無法近似這種深刻理解的，這是錯誤的方向。

人類處理各種大語言模型的豐富經驗清楚地表明，僅從言語中可以獲得的東西是如此之少。

以上是Yann LeCun稱巨型模型不能實現智力接近人類的目標的詳細內容。更多資訊請關注PHP中文網其他相關文章！