首個模擬人類認知的思考架構OlaGPT：六大模組增強語言模型，推理能力最高提升85%

ChatGPT剛發布的時候，給了我們太多的震撼，模型在對話上的表現實在是太像人類了，以至於產生了語言模型具有「思考能力」的錯覺。

不過在深入了解語言模型之後，研究人員們也逐漸發現了，基於高機率語言模式的再現與期望中的「通用人工智慧」還有很大差距。

在目前的大多數研究中，大型語言模型主要是在特定提示的引導下生成思維鏈來執行推理任務，沒有考慮人類的認知框架，使得語言模型解決複雜推理問題的能力與人類之間仍然存在著顯著的差距。

人類在面對複雜的推理難題時，通常會使用各種認知能力，並且需要與工具、知識和外部環境資訊的各個方面進行交互，那語言模型能不能模擬人類的思維流程來解決複雜問題呢？

答案當然可以！首個模擬人類認知處理框架的模型OlaGPT來了！

論文連結：https://arxiv.org/abs/2305.16334

程式碼連結：https://www.php.cn/link/ 73a1c863a54653d5e184b790fee14754

OlaGPT包括多個認知模組，包括注意力、記憶、推理、學習，以及相應的調度和決策機制；受人類主動學習啟發，框架中還包括一個學習單元來記錄之前的錯誤和專家意見，並動態參考來提升解決類似問題的能力。

文中也概述了人類解決問題的常見有效推理框架，並相應地設計了思維鏈（CoT）模板；也提出了一個全面的決策機制，可以最大限度地提高模型的準確性。

在多個推理資料集上進行了嚴格評估後得到的實驗結果表明，OlaGPT超越了先前最先進的基準，證明了其有效性。

模擬人類的認知

目前的語言模型與期望中的通用人工智慧還有很大差距，主要表現為：

#1. 在某些情況下生成的內容毫無意義，或者偏離了人類的價值偏好，甚至會給出一些非常危險的建議，目前的解決方案是引入人類反饋的強化學習（RLHF）對模型輸出進行排序。

2. 語言模型的知識僅限於在訓練資料中明確提到的概念和事實。

在面對複雜問題時，語言模型也無法像人類一樣適應變化的環境、利用現有的知識或工具、反思歷史教訓、分解問題，以及使用人類在長期進化中總結出的思考模式（如類比、歸納推理和演繹推理等）來解決問題。

不過，讓語言模型模擬人腦處理問題的過程還有許多系統難題：

1. 如何系統地模仿和編碼人類認知框架中的主要模組，同時以可實現的方式根據人類的通用推理模式進行調度？

2. 如何引導語言模型像人類一樣進行主動學習，即從歷史錯誤或專家對困難問題的解決方案中學習和發展？

雖然重新訓練模型對修正後的答案進行編碼可能是可行的，但顯然成本很高且不靈活。

3. 如何讓語言模型靈活地利用人類演化出的各種思考模式，進而提升其推理表現？

一個固定的、通用的思考模式很難適應不同問題，就像人類在面對不同類型的問題時，通常會靈活地選擇不同的思考方式，如類比推理、演繹推理等。

OlaGPT

OlaGPT是一個模擬人類思維的問題解決框架，可以增強大型語言模型的能力。

OlaGPT借鑒了認知架構（cognitive architecture）理論，把認知框架的核心能力建模為注意力（attention）、記憶（memory）、學習（learning）、推理（reasoning）、行動選擇（action selction）。

研究人員根據具體實現的需要對該框架進行了微調，並提出了一個適合語言模型解決複雜問題的流程，具體包括六個模組：意圖增強模組（注意力）、記憶模組（記憶）、主動學習模組（學習）、推理模組（推理）、控制器模組（行動選擇）和投票模組。

意圖增強（Intention Enhance）

#注意力是人類認知的一個重要組成部分，識別出相關的資訊並過濾掉不相關的數據。

同樣地，研究人員為語言模型設計了相應的注意力模組，即意圖增強，旨在提取最相關的信息，並在用戶輸入和模型的語言模式之間建立更強的關聯，可以被看作是一個從使用者表達習慣到模型表達習慣的最佳化轉換器。

首先透過特定的提示詞提前獲得LLMs的問題類型，然後重構提問的方式。

例如在問題的開頭加上一句「Now give you the XX（問題類型），question and choices:」；為了方便分析，提示中還需要加入「 The answer must end with JSON format: Answer: one of options[A,B,C,D,E].”

##記憶（Memory）

記憶模組在儲存各種知識庫資訊方面起著至關重要的作用，已經有研究證明了當下語言模型在理解最新事實數據方面的局限性，而記憶模組著重於鞏固模型尚未內化的知識，並將其作為長期記憶儲存在外部庫中。

研究人員利用langchain的記憶功能進行短期記憶，然後使用基於Faiss的向量資料庫來實現長期記憶。

在查詢過程中，其檢索功能可以從庫中提取相關知識，涵蓋了四種類型的記憶庫：事實、工具、筆記和思維（thinking），其中事實是現實世界的信息，如常識等；工具包括搜尋引擎、計算器和維基百科，可以協助語言模型完成一些無需為條的工作；筆記主要記錄一些疑難案例和解決問題的步驟；思考庫主要儲存由專家編寫的人類解決問題的思考模板，專家可以是人類，也可以是模型。

學習（Learning）

學習的能力對於人類不斷提升自我表現至關重要，從本質上講，所有形式的學習都依賴經驗，語言模型可以從之前的錯誤中學習，從而實現快速提高推理能力。

首先，研究人員找出語言模型無法解決的問題；然後在筆記庫中記錄專家提供的見解和解釋；最後選擇相關的筆記來促進語言模型的學習，從而可以更有效地處理類似問題。

推理（Reasoning）

推理模組的目的是創建基於人類推理過程的多個智能體，從而激發語言模型的潛在思考能力，進而解決推理問題。

該模組結合了多種思維模板，參考特定的思維類型，如橫向思維、順序思維、批判性思維和整合性思維，以促進推理任務。

控制器（Controller）

控制器模組主要用來處理相關的行動選擇，具體包括模型的內部規劃任務（如選擇某些模組來執行）以及從事實、工具、筆記和思維庫中選擇。

首先檢索和匹配相關的庫，檢索到的內容隨後被整合到一個模板智能體中，要求語言模型以異步的方式在一個模板下提供回复，就像人類在推理之初可能難以辨識所有的相關資訊一樣，同樣很難期望語言模型一開始就做到這一點。

因此，動態檢索是根據使用者的問題和中間的推理進度來實現的，使用Faiss方法為上述四個庫建立嵌入索引，其中各個庫的檢索策略略有不同。

投票（voting）

由於不同的思維模板可能更適合不同類型的問題，研究人員設計了投票模組來提升多個思維模板之間的整合校準能力，並多種投票策略來產生最佳答案以提高效能。

具體的投票方法包括：

1. 語言模型投票：引導語言模型在多個給定的選項中選擇最一致的答案，並提供一個理由。

2. regex投票：用正規表示式精確比對抽取答案以獲得投票結果。

實驗結果

為了評估此增強型語言模型框架在推理任務中的有效性，研究人員在兩類推理資料集上進行了全面的實驗比較。

從結果可以看出：

1. SC（self-consistency）的性能優於GPT-3.5-turbo，表明在一定程度上採用集成方法確實有助於提高大規模模型的有效性。

2. 文中提出方法的表現超過了SC，在一定程度上證明了思考模板策略的有效性。

不同思維模板的答案表現出相當大的差異，在不同的思維模板下進行投票，最終會比簡單地進行多輪投票產生更好的結果。

3. 不同思考模板的效果是不同的，循序漸進的解決方案可能更適合推理型問題。

4. 主動學習模組的表現明顯優於零樣本方法。

把具有挑戰性的案例當作筆記庫的一部分，利用隨機、檢索和組合清單可以提高效能，這是一種可行的策略。

5. 不同的檢索方案在不同的資料集上有不同的效果，總的來說，組合（combine）策略的效果更好。

6. 文中方法明顯優於其他方案，這得益於整體框架的合理設計，包括主動學習模組的有效設計；思維模板實現了對不同模型的適應，不同思維模板下的結果是不同的；控制器模組起到了很好的控製作用，選擇了與所需內容比較匹配的內容；投票模組設計的不同思維模板的集成方式是有效的。

參考資料：

https://www.php.cn/link/73a1c863a54653d5e184b790fee14754

#

以上是首個模擬人類認知的思考架構OlaGPT：六大模組增強語言模型，推理能力最高提升85%的詳細內容。更多資訊請關注PHP中文網其他相關文章！