大腦裡也有Transformer！和「海馬體」機制相同

我無法創造的，我也不懂                                   

想要創造人工智慧，首先要理解人類的大腦因何有智能。

隨著神經網路的誕生及後續的輝煌發展，研究者們一直在為神經網路尋找

生物學上的解釋，生物學上的進展也在啟發AI研究人員開發新模型。

但人工智慧領域的研究人員其實還有一個更遠大的追求：

利用AI模型來幫助理解大腦 。

最近有研究發現，雖然時下最受歡迎的

Transformer模型是在完全沒有生物學知識輔助的情況下開發出來的 ，但其架構卻和人腦海馬結構極為相似。

論文連結：https://arxiv.org/pdf/2112.04035.pdf

研究人員為Transformer配備了遞歸位置編碼後，發現模型可以精確複製海馬結構（hippocampal formation）的

空間表徵。

不過作者也表示，對於這個結果並不驚訝，因為Transformer與目前神經科學中的

海馬體模型密切相關，最明顯的就是位置細胞（place cell）和網格細胞（grid cell）。

而且透過實驗發現，Transformer模型相比神經科學版本提供的模型來說有巨大的效能提升。

這項工作將人工神經網路和大腦網路的計算結合起來，對

海馬體和大腦皮質之間的相互作用提供了新的理解，並暗示了皮層區域如何執行超出目前神經科學模型的更廣泛的複雜任務，如語言理解。 Transformer模擬海馬體？

人類想要了解自己的大腦仍然困難重重，例如研究大腦如何組織和訪問空間資訊來解決「我們在哪裡，拐角處有什麼以及如何到達那裡」仍然是一項艱鉅的挑戰。

整個過程可能涉及從數百億個神經元中調用整個記憶網路和儲存的空間數據，每個神經元都連接到數千個其他神經元。

雖然神經科學家已經確定了幾個關鍵元素，例如網格細胞、映射位置的神經元，但如何進行更深入的研究仍然是未知的：研究人員無法移除和研究人類灰質切片來觀察基於位置的圖像、聲音和氣味記憶如何流動並相互連接。

人工智慧模型則提供了另一種途徑來理解人腦，多年來，神經科學家已經利用多種類型的神經網路來模擬大腦中神經元的發射。

最近有研究表明，海馬體（對記憶至關重要的大腦結構）基本上和Transformer模型差不多。

研究人員用新模型以一種與大腦內部運作相似的方式追蹤空間訊息，取得了一些顯著的研究成果。

來自牛津大學和史丹佛大學的認知神經科學家James Whittington表示，當我們知道這些大腦模型等同於Transformer時，也就意味著新模型會表現得更好，也更容易訓練。

從Whittington和其他人的研究成果可以看出，Transformer可以大大提高神經網路模型模仿網格細胞和大腦其他部分進行的各種計算的能力。

Whittington表示，這樣的模型可以推動我們對人工神經網路如何運作的理解，甚至更有可能是對大腦中如何進行計算的理解。

主要從事Transformer模型研究的Google大腦電腦科學家David Ha表示，我們並不是要重新創造一個新的大腦，但我們能不能創造一種機制來做大腦可以做的事情？

Transformer在五年前才首次提出，當時是作為人工智慧處理自然語言的一種新模型，也是BERT和GPT-3等那些「明星模型」的秘密武器。這些模型可以產生令人信服的歌詞，創作莎士比亞十四行詩，或是做一些人工客服的工作。

Transformer的核心機制就是自註意力，其中每個輸入（例如一個單字、一個像素、一個序列中的數字）總是與其他的所有輸入相連，而其他常見的神經網路只是將輸入與某些輸入連接。

雖然Transformer是專門為自然語言任務而設計的，但後來的研究也證明了Transformer在其他任務中也同樣表現出色，例如對圖像進行分類，以及現在對大腦進行建模。

2020年，由奧地利約翰開普勒林茨大學的電腦科學家Sepp Hochreiter（LSTM論文一作）領導的一個小組，使用一個Transformer來重新調整一個強大的、長期存在的記憶檢索模型Hopfield網路。

這些網絡在40年前由普林斯頓物理學家John Hopfield首次提出，遵循一個一般規則：在同一時間活躍的神經元相互之間建立了強有力的聯繫。

Hochreiter和他的合作者註意到，研究人員一直在尋找更好的記憶檢索模型，他們看到了一類新的Hopfield網路如何檢索記憶和Transformer如何執行注意力之間的聯繫。

這些新的Hopfield網路由Hopfield和麻省理工學院-IBM沃森人工智慧實驗室的Dmitry Krotov開發，與標準的Hopfield網路相比，具有更有效的連接，可以儲存和檢索更多記憶。

論文連結：https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

#Hochreiter的團隊透過增加一個類似Transformer中的注意力機制的規則來升級這些網路。

2022年，這篇新論文的進一步調整了Hochreiter的方法，修改了Transformer，使其不再將記憶視為線性序列，而是像句子中的一串單詞，將其編碼為高維空間中的座標。

研究人員稱這種「扭曲」進一步提高了該模型在神經科學任務中的表現。實驗結果還表明，該模型在數學上等同於神經科學家在fMRI掃描中看到的網格細胞發射模式的模型。

倫敦大學學院的神經科學家Caswell Barry表示，網格細胞具有這種令人興奮的、美麗的、規律的結構，並且具有引人注目的模式，不太可能隨機出現。

這項新工作顯示了Transformer如何準確地複製了在海馬體中觀察到的那些模式。

他們也意識到，Transformer模型可以根據以前的狀態和它的移動方式弄清楚它在哪裡，而且是以一種關鍵的方式進入傳統的網格細胞模型。

近期的一些其他工作也表明，Transformer可以促進我們對其他大腦功能的理解。

去年，麻省理工學院的計算神經科學家Martin Schrimpf分析了43種不同的神經網路模型，以了解它們對fMRI和皮質電圖報告的人類神經活動測量結果的預測程度。

他發現Transformer是目前領先的、最先進的神經網絡，幾乎可以預測成像中發現的所有變化。

而David Ha與同為電腦科學家的Yujin Tang最近也設計了一個模型，可以故意給Transformer以隨機、無序的方式輸入大量數據，模仿人體如何向大腦傳輸感官觀察。結果發現Transformer可以像我們的大腦一樣，可以成功地處理無序的訊息流。

論文連結：https://arxiv.org/abs/2111.14377

Yujin Tang表示，神經網路是硬接線，只能接收特定的輸入。但在現實生活中，資料集經常快速變化，而大多數人工智慧沒有任何辦法調整。未來我們想嘗試一種能夠快速適應的架構。

以上是大腦裡也有Transformer！和「海馬體」機制相同的詳細內容。更多資訊請關注PHP中文網其他相關文章！