思想克隆！前OpenAI研究員讓AI模仿人類思維，現實版「機械姬」降臨

當AI有了自主意識會如何？

「機械姬」中，艾娃利用人類的同情心，以欺騙的方式誘導人類獲得自由，最終殺了自己的「造物主」Nathan。

近來，在眾多網友的力量薦下，Sam Altman終於看了這部電影。

並表示，「很好的電影，但我不明白為什麼每個人都讓我看它。」

許多人或許想警示，這就是讓人工智慧有了意識，通過圖靈測試的結果。

但我們離「機械姬」上映的那一幕還很遙遠，GPT-5可能在秘密研發中，讓AI有智慧仍是科學家集洪荒之力最想做的事。

這不，來自不列顛哥倫比亞大學的2位研究人員發現，智能體能夠像人類一樣思考有很多的優點。

最新論文中，他們研究了智能體的「思想克隆」（TC）。

這裡，人工智慧透過模仿人類，學會像人類一樣「思考」和「行動」。

當AI有了思想

要知道，語言是區分人類和其他生物的關鍵。

因此，研究人員設想，如果智能體能夠理解語言，就會有很多的好處。

例如，幫助人類概括、推論、適應新的情況、結合新的方式對現有的知識，探索、規劃、並在必要時重新規劃。

儘管有這些益處，但AI智能體卻很少思考，至少不是用人類語言去思考。

雖然神經網路可以被認為是思考的內部向量激活，但許多人假設，以離散的、符號的語言進行思考具有特定的好處。

###這意味著能夠用語言思考的智能體，可能比不用語言的智能體學習得更快，表現、概括得更好。 ############基於所有這些原因，增強AI智能體用語言思考的能力可以產生許多顯著的優勢。 ############Jeff Clune和Shengran Hu認為實現這一目標的最有效的方法是「讓AI模仿人類思考」。 ############他們發現，人類不會孤立地獲得思考技能，相反，他們一部分技能的獲得是透過他人示範和教師提供的回饋來學習的。 ############因此，一個有效的方法是，讓智能體從人類在行動時把想法說出的演示中進行學習。 ############這個方法不同於現有的用預訓練LLMs進行規劃的工作，因為這些LLMs沒有受過人類在行動時說出想法的數據進行訓練，即「思想數據」。 ######

至於「思想資料」的來源，研究者選取​​了YouTube影片和文字錄音，有大約數百萬小時，包含了人們行動、計劃、決定和重新規劃背後的思想。在

論文中，研究者提出了一個新穎的模仿學習架構「思想複製」。其中，智能體不僅學習人類的示範行為，如行為克隆，也學習人類行動同時的思考方式。

在思想複製訓練框架中，智能體學習在每個時間步中產生思想，並隨後根據這些思想調整行動。

整體框架如圖所示，TC智能體是一個雙層架構：上層和下層元件。

在每個時間步驟中，智能體接收一個觀察、一個任務和一段思考歷史作為輸入。上層組件負責思想生成，下層組件產生以這些思想為條件執行操作。

然後，將產生的想法和行動與演示資料集中的基本事實進行比較，以計算損失。

雖然對於上層和下層組件的條件可能有不同的選擇，但在這項工作中，對於思維資料集中長度t的特定軌跡，研究人員將其最小化：

對於更複雜或大規模的場景，上層元件可以使用預訓練視覺語言模型（VLM）來實現，或者零樣本、微調。

而下層元件可以從頭開始訓練，或從目標網域中現有的語言條件控制器中改編。在

論文中，研究人員基於BabyAI 1.1模型體系結構的兩個組件進行了研究。

此模型利用記憶體增強架構LSTM來解決部分可觀測性的挑戰。此外，它還採用FiLM進行模態融合，有效地結合了視覺和文字輸入。

這裡，作者特別強調，本文中的所有模型都是從頭開始訓練的，但在複雜領域中還是使用預訓練模型更強。

如下圖，是BabyAI環境範例，左圖中包含了各種顏色的物品（球、鑰匙、盒子、門）。

#智能體可以拿起、放下、移動物體或開門、關門，而鎖住的門只能用顏色相符的鑰匙打開。

智能體可以看到它前面的7×7的網格單元，這些網格單元是被牆壁和關閉的門阻擋。

「思想克隆」智能體的任務是，到達紫色的盒子（高亮顯示） ，並開始規劃了路線。

但是當它打開藍色的門時，準備完成任務，卻發現一個紫色的球擋住了去路。於是，思想複製智能體再重新規劃。

由此可以看出，智能體的想法和行動表明，當遇到障礙時，先將其移除，並在繼續先前的目標前，重新規劃路線。

這個過程，就特別像艾娃如何一步一步策劃，讓人類最終相信並幫助自己，逃出囚禁已久的玻璃牢籠。

實驗結果

研究結果表明，「思想克隆」優於行為克隆。

此外，在零樣本和微調設定中，思想克隆在分佈外的任務中比行為克隆優勢更大。

有趣的是，研究人員也開發了「預犯罪幹預」，讓使用者在模型訓練後仍能定義不安全行為。

當偵測到危險的想法時，就能終止智能體。在測試中，「預犯罪幹預」的效果近乎完美，顯示了它在人工智慧安全方面的潛力。

「思想克隆」不僅使人工智慧更聰明，而且更安全，更容易理解。

就是說，當AI犯罪前，一切都還有得救。

在Jeff Clune看來，「思想克隆」有助於人工智慧的安全。

因為我們可以觀察到智能體的想法：（1）可以更容易診斷出事情出錯的原因，（2）透過糾正智能體的思想來引導它，（ 3）或阻止它做所計劃的不安全的事情。

#作者介紹

Jeff Clune

目前，Jeff Clune是不列顛哥倫比亞大學電腦科學副教授。他主要研究深度學習，包括深度強化學習。

先前，他還是OpenAI研究團隊負責人，Uber人工智慧實驗室的高級研究經理和創始成員。

在先前，他和OpenAI團隊發布了視訊預訓練模型－VPT，讓AI在我的世界中從視訊資料中學習造石鎬。

Shengran Hu

目前是不列顛哥倫比亞大學的博士生，對深度學習，人工智慧生成演算法感興趣。

以上是思想克隆！前OpenAI研究員讓AI模仿人類思維，現實版「機械姬」降臨的詳細內容。更多資訊請關注PHP中文網其他相關文章！