MIT新材料打造「人造突觸2.0」，模擬深度學習訓練提速100萬倍！

近年來，隨著科學家們不斷推動機器學習的邊界，訓練日益複雜的神經網路模型所需的時間、能源和資金正在快速增長。 「模型能建，訓練太慢」成為困擾越來越多研究人員的頭痛問題。

最近，被稱為「模擬深度學習」的人工智慧新領域有望以更少的能源實現更快的運算。可程式電阻器是類比深度學習的關鍵部分，就像電晶體是數位處理器的核心元素一樣。

透過在複雜的層中重複排列可編程電阻器，研究人員可以創建一個模擬人工神經元和突觸網絡，就像數位神經網路一樣執行計算。這個網路可以被訓練來實現複雜的人工智慧任務，如圖像辨識和自然語言處理。

模擬神經網路的運算速度很大程度上取決於「人造突觸」的傳輸速度。麻省理工學院的一個團隊要解決的就是這個環節。他們之前已經發展了一種人造模擬突觸，現在要做的是，搞個新材料，超越原來的老版本。

這次，他們在製造過程中利用了一種實用的無機材料，讓前文提到的可編程電阻器的運行速度達到了以前的版本的100萬倍，同時也實現了比人腦中的突觸快約100萬倍。此外，這種材料也使電阻的能源效率極高。與早期版本的設備中使用的材料不同，新材料與矽製造技術相容。這項變更使得在奈米尺度上製造裝置成為可能，並可能為整合到深度學習應用的商業計算硬體中鋪平道路。 這項研究論文已經發表在Science上。

論文連結：https://www.science.org/doi/pdf/10.1126/science.abp8064

論文的通信作者、麻省理工學院電機工程和計算機科學系（EECS）的唐納教授Jesús A. del Alamo說：“憑藉這一關鍵發現，加上MIT.nano的強大的奈米製造技術，我們已經能夠把這些碎片放在一起，並證明這些設備本質上是非常快的，可以在合理的電壓下運行。」「該設備的工作機制是將最小的離子--質子--電化學插入絕緣氧化物中，以調節其電子傳導性。因為我們使用的設備非常薄，所以可以透過使用強電場來加速這個離子的運動，並將這些離子設備推向納秒操作​​」論文通訊作者、核科學與工程系和材料科學與工程系的Breene M. Kerr教授Bilge Yildiz解釋。論文通訊作者、巴特爾能源聯盟核科學與工程系教授和材料科學與工程系教授Ju Li說：

「生物細胞中的動作電位以毫秒尺度上升和下降，因為大約0.1伏特的電壓差受制於水的穩定性。"在這裡，我們在一個特殊的奈米級厚度的固體玻璃薄膜上施加高達10伏的電壓，該薄膜可以傳導質子，而不會永久損壞它。而且，電場越強，離子設備運作速度就越快。 」本文的共同作者還包括材料科學與工程系的Ellen Swallow Richards教授Frances M. Ross；博士後Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。

這些可程式電阻器大大提高了神經網路的訓練速度，同時大幅降低了進行訓練的成本和能耗。這可以幫助科學家更快地開發深度學習模型，應用於自動駕駛汽車、詐欺偵測或醫學影像分析等用途。 「一旦有了模擬處理器，就不用再訓練其他人正在研究的網絡了。你可以訓練具有前所未有的高複雜度的網絡，而這種複雜度是其他人無法承受的。換句話說，這不僅僅是一輛跑得快的汽車，而是一家飛機」。論文第一作者、麻省理工學院博士後Murat Onen說。

100萬倍加速深度學習

類比深度學習之所以比其數位深度學習更快、更節能，主要有兩個原因。

首先，計算是在記憶體中進行的，所以巨大的資料負載不會從記憶體來回傳輸到處理器。類比處理器也以並行方式進行操作。如果矩陣擴大，模擬處理器不需要更多時間來完成新的操作，因為所有的計算都是同時進行的。麻省理工學院新的類比處理器技術的關鍵元素被稱為質子可程式電阻。這些電阻以奈米為單位，排列成一個陣列，就像一個棋盤。

奈秒質子可程式電阻器

#為了開發一種超高速、高能效的可程式質子電阻，研究人員尋找了不同的電解質材料。當其他設備使用有機化合物時，Onen專注於無機磷矽酸鹽玻璃（PSG）。 PSG基本上是二氧化矽，這是一種粉狀的乾燥劑材料，用來除濕。

在加濕條件下，研究人員研究了它作為燃料電池的質子導體。它也是矽加工中最著名的氧化物。為了製造PSG，矽中加入了少量的磷，使其具有質子傳導的特殊特性。 Onen假設，優化後的PSG在室溫下可以具有較高的質子導電性，且不需要水，這將使其成為理想的固體電解質。

驚人的速度

PSG能夠實現質子的超快運動，因為它包含大量奈米大小的孔，這些孔的表面為質子擴散提供了路徑。

它還能承受非常強的脈衝電場。

Onen解釋說：「這一點至關重要，因為對裝置施加更多的電壓可以使質子極速移動。」

Onen說：「這種速度相當令人驚訝。通常情況下，我們不會在設備上使用如此強大的磁場，以避免它們變成灰燼。但相反，質子最終以巨大的速度穿梭在設備堆上，而且還是比我們之前的速度快一百萬倍。此外，由於質子體積小、質量低，這種運動不會破壞任何東西。它幾乎就像傳送一樣。」

##因為質子不會損壞材料，所以電阻器可以運行數百萬個週期而不發生故障。

質子可程式電阻器的超快與高能效調變特性

這種新型電解質使可編程質子電阻器的速度比以前的設備快100萬倍，並且可以在室溫下有效工作，這對於將其納入計算硬體非常重要。

由於PSG的絕緣特性，當質子移動時，幾乎沒有電流通過材料。 Onen補充說：「這使得該設備非常節能。」

del Alamo表示：「現在他們已經證明了這些可編程電阻器的有效性，研究人員計劃對其進行重新設計，以實現大批量生產。然後他們可以研究電阻陣列的特性，並將其放大，以便將其嵌入到系統中。」

##Yildiz補充說：「這些離子設備可以實現的另一個令人興奮的方向是節能硬件，以模擬神經科學中推導的神經迴路和突觸可塑性規則，超越模擬深度神經網絡。我們已經開始與神經科學進行這樣的合作，得到了MIT Quest for Intelligence的支持。」

del Alamo說：「我們的合作對未來的創新至關重要。未來的道路仍然充滿挑戰，但同時也非常令人興奮！」

史丹佛大學材料科學與工程副教授William Chueh說：「諸如鋰離子電池中發現的插層反應已經在儲存設備中得到了廣泛的探索。這項工作表明，基於質子的存儲器件提供了令人印象深刻且令人驚訝的開關速度和耐用性。」

不過William Chueh並沒有參與這項研究。

以上是MIT新材料打造「人造突觸2.0」，模擬深度學習訓練提速100萬倍！的詳細內容。更多資訊請關注PHP中文網其他相關文章！