對人工智慧不斷增長的需求推動了對基於實體設備的非常規計算的研究。雖然此類計算設備模仿了大腦啟發的模擬資訊處理,但學習過程仍然依賴為數位處理優化的方法,例如反向傳播,這不適合物理實現。
在這裡,來自日本NTT 設備技術實驗室(NTT Device Technology Labs)和東京大學的研究團隊透過擴展一種稱為直接回饋對齊(DFA)的受生物學啟發的訓練演算法來展示物理深度學習。 與原始演算法不同,所提出的方法是基於具有替代非線性活化的隨機投影。因此,可以在不了解物理系統及其梯度的情況下訓練物理神經網路。此外,可以在可擴展的實體硬體上模擬此訓練的計算。
研究人員使用稱為深儲層電腦的光電遞歸神經網路演示了概念驗證。證實了在基準測試中具有競爭性能的加速計算的潛力。研究結果為神經形態計算的訓練和加速提供了實用的解決方案。
研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」為題,於2022 年12 月26 日發布在《Nature Communications》上。
物理深度學習
基於人工神經網路(ANN) 的機器學習在影像處理、語音辨識、遊戲等方面的破紀錄表現成功展現了其卓越的能力。儘管這些演算法類似於人腦的工作方式,但它們基本上是使用傳統的馮諾依曼計算硬體在軟體層面上實現的。然而,這種基於數位運算的人工神經網路面臨能耗和處理速度的問題。這些問題促使使用替代物理平台實現人工神經網路。
有趣的是,即使是被動物理動力學也可以用作隨機連接的 ANN 中的計算資源。該框架被稱為實體儲層電腦(RC)或極限學習機(ELM),其易於實現極大地擴展了可實現材料的選擇及其應用範圍。這種物理實現的神經網路 (PNN) 能夠將特定任務的運算負載外包給實體系統。
建立更深層的實體網路是進一步提高效能的一個有前途的方向,因為它們可以以指數方式擴展網路表達能力。這激發了使用各種物理平台的深度 PNN 的提議。他們的訓練基本上依賴一種稱為反向傳播(BP)的方法,該方法在基於軟體的 ANN 中取得了巨大成功。但是,BP 在以下方面不適用於 PNN。首先,BP 操作的實體實作仍然複雜且不可擴展。其次,BP 需要對整個物理系統有精確的了解。此外,當我們將 BP 應用於 RC 時,這些要求破壞了實體 RC 的獨特特性,即我們需要準確地了解和模擬黑盒實體隨機網路。
與 PNN 中的 BP 一樣,BP 在生物神經網路中的操作難度也被腦科學界指出;BP 在大腦中的合理性一直受到質疑。這些考慮促使開發了生物學上合理的訓練演算法。
近期一個有前景的方向是直接回饋對齊 (DFA)。在這個演算法中,採用最終輸出層誤差訊號的固定隨機線性變換來取代反向誤差訊號。因此,這種方法不需要誤差訊號的逐層傳播或權重的知識。此外,據報道,DFA 可擴展到現代大型網路模式。這種以生物學為動機的訓練的成功表明,有一種比 BP 更合適的方法來訓練 PNN。然而,DFA 仍然需要非線性函數 f(x) 的導數 f'(a) 進行訓練,這阻礙了 DFA 方法在物理系統中的應用。因此,DFA 的更大幅度擴展對於 PNN 應用很重要。
DFA 及其對物理深度學習的增強
#在此,研究人員透過增強 DFA 演算法來演示物理深度學習。在增強 DFA 中,以任意非線性 g(a) 取代標準 DFA 中物理非線性激活 f'(a) 的微分,並表明性能對 g(a) 的選擇具有穩健性。由於這種增強,不再需要準確地模擬 f'(a)。由於所提出的方法是基於具有任意非線性活化的平行隨機投影,因此可以按照與物理 ELM 或 RC 概念相同的方式在物理系統上執行訓練計算。這使得推理和訓練的物理加速成為可能。
圖:PNN 的概念及其透過 BP 和增強 DFA 進行的訓練。 (資料來源:論文)
為了示範概念驗證,研究人員建構了一個 FPGA 輔助的光電深度物理 RC 作為工作台。儘管 benchtop 簡單易用,僅需軟體級更新即可應用於各種實體平台,但實現了可與大型複雜的最先進系統相媲美的性能。
圖:具有增強 DFA 訓練的光電深度 RC 系統。 (資料來源:論文)
此外,也比較了整個處理時間,包括數位處理的時間,發現了訓練過程物理加速的可能性。
圖:光電深 RC 系統的效能。 (資料來源:論文)
RC 工作台的處理時間預算細分如下:FPGA 處理(資料傳輸、記憶體分配和DAC/ADC)約為92%;約8% 的數位處理用於預處理/後處理。因此,在目前階段,處理時間主要由 FPGA 和 CPU 上的數字計算決定。這是因為光電工作台僅使用一條非線性延遲線實現了一個儲層;這些限制可以透過在未來使用完全並行和全光計算硬體來放寬。可以看出,CPU 和 GPU 上的計算針對節點數顯示了 O(N^2) 趨勢,而 benchtop 顯示了 O(N),這是由於資料傳輸瓶頸造成的。
對於 BP 和增強 DFA 演算法,CPU 以外的物理加速度分別在 N ~5,000 和 ~12,000 處被觀察到。然而,就計算速度而言,由於 GPU 的記憶體限制,尚未直接觀察到針對 GPU 的有效性。透過推斷 GPU 趨勢,可以在 N ~80,000 時觀察到超過 GPU 的物理加速。據我們所知,這是整個訓練過程的首次比較,也是首次使用 PNN 進行體能訓練加速示範。
為了研究所提方法對其他系統的適用性,使用廣泛研究的光子神經網路進行了數值模擬。此外,實驗證明的基於延遲的 RC 被證明非常適合各種物理系統。關於物理系統的可擴展性,建構深度網路的主要問題是其固有噪音。透過數值模擬研究了噪音的影響。發現該系統對噪音具有穩健性。
所提出方法的可擴展性和局限性
在這裡,考慮了基於 DFA 的方法對更現代模型的可擴展性。實際深度學習最常用的模型之一是深度連結的捲積神經網路 (CNN)。然而,據報道,DFA 演算法很難應用於標準 CNN。因此,所提出的方法可能難以以簡單的方式應用於卷積 PNN。
考慮到模擬硬體實現,對 SNN 的適用性也是一個重要主題。已經報導了基於 DFA 的訓練對 SNN 的適用性,這意味著該研究所提出的增強 DFA 可以使訓練更容易。
雖然基於 DFA 的演算法有可能擴展到比簡單的 MLP 或 RC 更實用的模型,但將基於 DFA 的訓練應用於此類網路的有效性仍然未知。在這裡,作為這項研究的額外工作,研究了基於 DFA 的訓練(DFA 本身和增強的 DFA)對上述模型(MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN)的可擴展性。研究發現基於 DFA 的訓練即使對於探索的實用模型也是有效的。雖然基於 DFA 的訓練可達到的準確度基本上低於 BP 訓練,但對模型和/或演算法進行一些調整可以提高效能。值得注意的是,對於所有探索的實驗設置,DFA 和增強 DFA 的準確性都具有可比性,這表明 DFA 本身的進一步改進將直接有助於改進增強 DFA。結果表明,該方法可擴展到未來對 PNN 的實用模型的實現,而不僅僅是簡單的 MLP 或 RC 模型。
表 1:增強 DFA 對實際網路模型的適用性。 (來源:論文)
物理硬體中的BP 與DFA
一般來說,BP 在實體硬體上實現起來非常困難,因為它需要計算圖中的所有資訊。因此,物理硬體的訓練一直是透過計算模擬來完成的,這會產生大量的計算成本。此外,模型與實際系統之間的差異導致精度下降。相反,增強的 DFA 不需要關於物理系統的準確先驗知識。因此,在深度 PNN 中,基於 DFA 的方法在準確性方面比基於 BP 的方法更有效。此外,可以使用實體硬體加速運算。
此外,DFA 訓練不需要逐層計算的順序誤差傳播,這意味著每一層的訓練可以並行執行。因此,更優化和並行的 DFA 實作可能會帶來更顯著的加速。這些獨特的特徵表明基於 DFA 的方法的有效性,特別是對於基於物理硬體的神經網路。另一方面,增強 DFA 訓練的模型的準確性仍然不如 BP 訓練的模型。進一步提高基於 DFA 的訓練的準確性仍然是未來的工作。
進一步的物理加速
物理實作證實了具有大節點(large-node)數的 RC 循環處理的加速。但是,它的優勢仍然有限,需要進一步改進。目前原型的處理時間表示為 FPGA 的資料傳輸和記憶體分配。因此,將所有流程整合到 FPGA 中將大大提高效能,但會犧牲實驗靈活性。此外,將來,機載光學方法將大大降低傳輸成本。大規模光整合和片上整合將進一步提升光運算本身的效能。
以上是具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

記事本++7.3.1
好用且免費的程式碼編輯器

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。