圖靈獎得主Hinton：我已經老了，如何控制比人類更聰明的AI交給你們了

還記得大牛們就“AI是否可能滅絕人類”，分成了兩大陣營嗎？

由於不理解為啥“AI會造成風險”，吳恩達最近開啟了一個對話系列，去找兩名圖靈獎得主聊聊：

AI究竟存在哪些風險？

有意思的是，在相繼和Yoshua Bengio以及Geoffrey Hinton進行深度對話後，他和他們「達成了不少共識」！

他們都認為，雙方應該共同探討人工智慧將具體產生哪些風險，並弄清楚它的理解程度。 Hinton也特別提到了圖靈獎得主Yann LeCun作為「反方代表」

爭論在這個問題上仍然十分激烈，即使像Yann這樣備受尊敬的學者也認為大型模型並沒有真正理解它們在表達什麼。

馬斯克對這次談話也很感興趣：

除此之外，Hinton最近還在智源大會上再一次「佈道」AI風險，表示比人更聰明的超級智能很快就會出現：

我們不習慣思考比我們聰明得多的東西，以及如何與它們互動。

我現在看不出如何防止超級智慧“失控”，而我已經老了。我希望，更多年輕的研究人員能掌握控制超級智慧的方法。

一起來看看這些對話的核心觀點，以及不同AI大牛針對這件事的看法。

吳恩達對話圖靈獎得主：AI安全應達成共識

首先是與Bengio的對話。吳恩達和他達成了一個關鍵共識，即：

科學家應該試著找出「AI風險存在的具體場景」。

也就是說，AI究竟會在哪些場景下，為人類帶來重大危害、甚至導致人類滅絕，這是雙方需要達成的共識。

Bengio認為，AI前景充滿著“迷霧和不確定性”，因此找出一些AI具體帶來危害的場景是有必要的。

然後是與Hinton的對話，雙方達成了兩個關鍵共識。

一方面，所有科學家必須針對「AI風險」議題好好聊聊，以便於制定良好的政策；

另一方面，AI確實在理解世界。列舉AI安全議題的關鍵技術問題有助於科學家達成共識。

在這個過程中，Hinton提到了需要共識的關鍵點，即「GPT-4和Bard這類對話大模型是否真的理解它們自己在說什麼」：

有些人認為它們理解，有些人認為它們只是隨機鸚鵡。
我想我們都相信它們理解（自己在說什麼），但一些我們非常尊重的學者如Yann，則認為它們並不理解。

當然，被「喊話」的LeCun也及時趕來，很認真地發表了自己的觀點：

我們都同意「大家需要就一些問題達成共識」這件事。我也同意Hinton的觀點，即LLM有一定的理解能力，說它們「只是統計數據」是誤導性的。
1、但它們對世界的理解非常膚淺，很大程度上是因為它們只是用純文字訓練。從視覺中學習世界如何運作的AI系統，將對現實有更深入的理解，相較之下自回歸LLM的推理和規劃能力非常有限。
2、如果沒有下述條件，我不太相信會出現接近人類（甚至是貓）水平的AI：
（1）從視頻等感官輸入中學習的世界模型
（2）一個可以推理和規劃（而不僅僅是自回歸）的架構
3、如果我們有了懂得規劃的架構，它們將是目標驅動的，即能基於優化推理時間（而不僅僅是訓練時間）目標來規劃工作。這些目標可以是讓AI系統「聽話」且安全的護欄，甚至最終打造出比人類更好的世界模型。
然後，問題就變成了設計（或訓練）保證安全和效率的良好目標函數。
4、這是一個困難的工程問題，但沒有一些人所說的那麼難。

雖然這段回應仍舊隻字未提“AI風險”，不過LeCun很實在地給出了提升AI安全性的建議（打造AI“護欄”），並設想了比人類更厲害的AI「長啥樣」（多感官輸入可推理規劃）。

某種程度上來說，也算是雙方在AI存在安全問題這個觀點上達成了一些共識。

Hinton：超級智能比想像中更近

當然，不只與吳恩達的對話。

最近離職谷歌的Hinton，在不少場合都談到了AI風險這一話題，其中也包括最近參加的智源大會。

在大會上，他以《通往智能的兩條路線》為主題，討論了「知識蒸餾」和「權重共享」兩種智能路線，以及如何讓AI變得更智能，以及自己對於超級智能出現的看法。

簡單來說，Hinton不僅認為（比人更聰明的）超級智慧會出現，而且出現的時間比人們想像中更快。

不僅如此，他認為這些超級智慧會失控，但目前他還想不到什麼好的方法阻止它們：

超級智慧可以透過操縱人來輕易獲得更多權力。我們不習慣思考比我們聰明得多的東西，以及如何與它們互動。由於可以從某些小說作品中學習欺騙他人的案例，它變得善於欺騙人。

一旦它變得善於欺騙人，就能掌握讓人們做任何事的方法……我覺得這很可怕，但我看不出如何防止這種情況發生，因為我老了。

我希望，像你們這樣的年輕有才華的研究人員，會搞清楚我們如何擁有這些超級智能，並讓我們生活得更好。

放映出「THE END」幻燈片時，Hinton意味深長地強調了一下：

這是我的最後一張PPT，也是這場演講的結束。

#參考連結：
[1]https://twitter.com/AndrewYNg/status/1667920020587020290
[ 2]https://twitter.com/AndrewYNg/status/1666582174257254402
[3]https://2023.baai.ac.cn/

以上是圖靈獎得主Hinton：我已經老了，如何控制比人類更聰明的AI交給你們了的詳細內容。更多資訊請關注PHP中文網其他相關文章！