搜尋
首頁科技週邊人工智慧具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法

對人工智慧不斷增長的需求推動了對基於實體設備的非常規計算的研究。雖然此類計算設備模仿了大腦啟發的模擬資訊處理,但學習過程仍然依賴為數位處理優化的方法,例如反向傳播,這不適合物理實現。

在這裡,來自日本NTT 設備技術實驗室(NTT Device Technology Labs)和東京大學的研究團隊透過擴展一種稱為直接回饋對齊(DFA)的受生物學啟發的訓練演算法來展示物理深度學習。 與原始演算法不同,所提出的方法是基於具有替代非線性活化的隨機投影。因此,可以在不了解物理系統及其梯度的情況下訓練物理神經網路。此外,可以在可擴展的實體硬體上模擬此訓練的計算。

研究人員使用稱為深儲層電腦的光電遞歸神經網路演示了概念驗證。證實了在基準測試中具有競爭性能的加速計算的潛力。研究結果為神經形態計算的訓練和加速提供了實用的解決方案。

研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」為題,於2022 年12 月26 日發布在《Nature Communications》上。

物理深度學習

基於人工神經網路(ANN) 的機器學習在影像處理、語音辨識、遊戲等方面的破紀錄表現成功展現了其卓越的能力。儘管這些演算法類似於人腦的工作方式,但它們基本上是使用傳統的馮諾依曼計算硬體在軟體層面上實現的。然而,這種基於數位運算的人工神經網路面臨能耗和處理速度的問題。這些問題促使使用替代物理平台實現人工神經網路。

有趣的是,即使是被動物理動力學也可以用作隨機連接的 ANN 中的計算資源。該框架被稱為實體儲層電腦(RC)或極限學習機(ELM),其易於實現極大地擴展了可實現材料的選擇及其應用範圍。這種物理實現的神經網路 (PNN) 能夠將特定任務的運算負載外包給實體系統。

建立更深層的實體網路是進一步提高效能的一個有前途的方向,因為它們可以以指數方式擴展網路表達能力。這激發了使用各種物理平台的深度 PNN 的提議。他們的訓練基本上依賴一種稱為反向傳播(BP)的方法,該方法在基於軟體的 ANN 中取得了巨大成功。但是,BP 在以下方面不適用於 PNN。首先,BP 操作的實體實作仍然複雜且不可擴展。其次,BP 需要對整個物理系統有精確的了解。此外,當我們將 BP 應用於 RC 時,這些要求破壞了實體 RC 的獨特特性,即我們需要準確地了解和模擬黑盒實體隨機網路。

與 PNN 中的 BP 一樣,BP 在生物神經網路中的操作難度也被腦科學界指出;BP 在大腦中的合理性一直受到質疑。這些考慮促使開發了生物學上合理​​的訓練演算法。

近期一個有前景的方向是直接回饋對齊 (DFA)。在這個演算法中,採用最終輸出層誤差訊號的固定隨機線性變換來取代反向誤差訊號。因此,這種方法不需要誤差訊號的逐層傳播或權重的知識。此外,據報道,DFA 可擴展到現代大型網路模式。這種以生物學為動機的訓練的成功表明,有一種比 BP 更合適的方法來訓練 PNN。然而,DFA 仍然需要非線性函數 f(x) 的導數 f'(a) 進行訓練,這阻礙了 DFA 方法在物理系統中的應用。因此,DFA 的更大幅度擴展對於 PNN 應用很重要。

DFA 及其對物理深度學習的增強

#在此,研究人員透過增強 DFA 演算法來演示物理深度學習。在增強 DFA 中,以任意非線性 g(a) 取代標準 DFA 中物理非線性激活 f'(a) 的微分,並表明性能對 g(a) 的選擇具有穩健性。由於這種增強,不再需要準確地模擬 f'(a)。由於所提出的方法是基於具有任意非線性活化的平行隨機投影,因此可以按照與物理 ELM 或 RC 概念相同的方式在物理系統上執行訓練計算。這使得推理和訓練的物理加速成為可能。

具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法

圖:PNN 的概念及其透過 BP 和增強 DFA 進行的訓練。 (資料來源:論文)

為了示範概念驗證,研究人員建構了一個 FPGA 輔助的光電深度物理 RC 作為工作台。儘管 benchtop 簡單易用,僅需軟體級更新即可應用於各種實體平台,但實現了可與大型複雜的最先進系統相媲美的性能。

具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法

圖:具有增強 DFA 訓練的光電深度 RC 系統。 (資料來源:論文)

此外,也比較了整個處理時間,包括數位處理的時間,發現了訓練過程物理加速的可能性。

具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法

圖:光電深 RC 系統的效能。 (資料來源:論文)

RC 工作台的處理時間預算細分如下:FPGA 處理(資料傳輸、記憶體分配和DAC/ADC)約為92%;約8% 的數位處理用於預處理/後處理。因此,在目前階段,處理時間主要由 FPGA 和 CPU 上的數字計算決定。這是因為光電工作台僅使用一條非線性延遲線實現了一個儲層;這些限制可以透過在未來使用完全並行和全光計算硬體來放寬。可以看出,CPU 和 GPU 上的計算針對節點數顯示了 O(N^2) 趨勢,而 benchtop 顯示了 O(N),這是由於資料傳輸瓶頸造成的。

對於 BP 和增強 DFA 演算法,CPU 以外的物理加速度分別在 N ~5,000 和 ~12,000 處被觀察到。然而,就計算速度而言,由於 GPU 的記憶體限制,尚未直接觀察到針對 GPU 的有效性。透過推斷 GPU 趨勢,可以在 N ~80,000 時觀察到超過 GPU 的物理加速。據我們所知,這是整個訓練過程的首次比較,也是首次使用 PNN 進行體能訓練加速示範。

為了研究所提方法對其他系統的適用性,使用廣泛研究的光子神經網路進行了數值模擬。此外,實驗證明的基於延遲的 RC 被證明非常適合各種物理系統。關於物理系統的可擴展性,建構深度網路的主要問題是其固有噪音。透過數值模擬研究了噪音的影響。發現該系統對噪音具有穩健性。

所提出方法的可擴展性和局限性

在這裡,考慮了基於 DFA 的方法對更現代模型的可擴展性。實際深度學習最常用的模型之一是深度連結的捲積神經網路 (CNN)。然而,據報道,DFA 演算法很難應用於標準 CNN。因此,所提出的方法可能難以以簡單的方式應用於卷積 PNN。

考慮到模擬硬體實現,對 SNN 的適用性也是一個重要主題。已經報導了基於 DFA 的訓練對 SNN 的適用性,這意味著該研究所提出的增強 DFA 可以使訓練更容易。

雖然基於 DFA 的演算法有可能擴展到比簡單的 MLP 或 RC 更實用的模型,但將基於 DFA 的訓練應用於此類網路的有效性仍然未知。在這裡,作為這項研究的額外工作,研究了基於 DFA 的訓練(DFA 本身和增強的 DFA)對上述模型(MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN)的可擴展性。研究發現基於 DFA 的訓練即使對於探索的實用模型也是有效的。雖然基於 DFA 的訓練可達到的準確度基本上低於 BP 訓練,但對模型和/或演算法進行一些調整可以提高效能。值得注意的是,對於所有探索的實驗設置,DFA 和增強 DFA 的準確性都具有可比性,這表明 DFA 本身的進一步改進將直接有助於改進增強 DFA。結果表明,該方法可擴展到未來對 PNN 的實用模型的實現,而不僅僅是簡單的 MLP 或 RC 模型。

表 1:增強 DFA 對實際網路模型的適用性。 (來源:論文)

具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法

物理硬體中的BP 與DFA

一般來說,BP 在實體硬體上實現起來非常困難,因為它需要計算圖中的所有資訊。因此,物理硬體的訓練一直是透過計算模擬來完成的,這會產生大量的計算成本。此外,模型與實際系統之間的差異導致精度下降。相反,增強的 DFA 不需要關於物理系統的準確先驗知識。因此,在深度 PNN 中,基於 DFA 的方法在準確性方面比基於 BP 的方法更有效。此外,可以使用實體硬體加速運算。

此外,DFA 訓練不需要逐層計算的順序誤差傳播,這意味著每一層的訓練可以並行執行。因此,更優化和並行的 DFA 實作可能會帶來更顯著的加速。這些獨特的特徵表明基於 DFA 的方法的有效性,特別是對於基於物理硬體的神經網路。另一方面,增強 DFA 訓練的模型的準確性仍然不如 BP 訓練的模型。進一步提高基於 DFA 的訓練的準確性仍然是未來的工作。

進一步的物理加速

物理實作證實了具有大節點(large-node)數的 RC 循環處理的加速。但是,它的優勢仍然有限,需要進一步改進。目前原型的處理時間表示為 FPGA 的資料傳輸和記憶體分配。因此,將所有流程整合到 FPGA 中將大大提高效能,但會犧牲實驗靈活性。此外,將來,機載光學方法將大大降低傳輸成本。大規模光整合和片上整合將進一步提升光運算本身的效能。

以上是具有生物啟發訓練方法的物理深度學習:物理硬體的無梯度方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
GNN的基础、前沿和应用GNN的基础、前沿和应用Apr 11, 2023 pm 11:40 PM

近年来,图神经网络(GNN)取得了快速、令人难以置信的进展。图神经网络又称为图深度学习、图表征学习(图表示学习)或几何深度学习,是机器学习特别是深度学习领域增长最快的研究课题。本次分享的题目为《GNN的基础、前沿和应用》,主要介绍由吴凌飞、崔鹏、裴健、赵亮几位学者牵头编撰的综合性书籍《图神经网络基础、前沿与应用》中的大致内容。一、图神经网络的介绍1、为什么要研究图?图是一种描述和建模复杂系统的通用语言。图本身并不复杂,它主要由边和结点构成。我们可以用结点表示任何我们想要建模的物体,可以用边表示两

一文通览自动驾驶三大主流芯片架构一文通览自动驾驶三大主流芯片架构Apr 12, 2023 pm 12:07 PM

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

"B站UP主成功打造全球首个基于红石的神经网络在社交媒体引起轰动,得到Yann LeCun的点赞赞赏""B站UP主成功打造全球首个基于红石的神经网络在社交媒体引起轰动,得到Yann LeCun的点赞赞赏"May 07, 2023 pm 10:58 PM

在我的世界(Minecraft)中,红石是一种非常重要的物品。它是游戏中的一种独特材料,开关、红石火把和红石块等能对导线或物体提供类似电流的能量。红石电路可以为你建造用于控制或激活其他机械的结构,其本身既可以被设计为用于响应玩家的手动激活,也可以反复输出信号或者响应非玩家引发的变化,如生物移动、物品掉落、植物生长、日夜更替等等。因此,在我的世界中,红石能够控制的机械类别极其多,小到简单机械如自动门、光开关和频闪电源,大到占地巨大的电梯、自动农场、小游戏平台甚至游戏内建的计算机。近日,B站UP主@

扛住强风的无人机?加州理工用12分钟飞行数据教会无人机御风飞行扛住强风的无人机?加州理工用12分钟飞行数据教会无人机御风飞行Apr 09, 2023 pm 11:51 PM

当风大到可以把伞吹坏的程度,无人机却稳稳当当,就像这样:御风飞行是空中飞行的一部分,从大的层面来讲,当飞行员驾驶飞机着陆时,风速可能会给他们带来挑战;从小的层面来讲,阵风也会影响无人机的飞行。目前来看,无人机要么在受控条件下飞行,无风;要么由人类使用遥控器操作。无人机被研究者控制在开阔的天空中编队飞行,但这些飞行通常是在理想的条件和环境下进行的。然而,要想让无人机自主执行必要但日常的任务,例如运送包裹,无人机必须能够实时适应风况。为了让无人机在风中飞行时具有更好的机动性,来自加州理工学院的一组工

对比学习算法在转转的实践对比学习算法在转转的实践Apr 11, 2023 pm 09:25 PM

1 什么是对比学习1.1 对比学习的定义1.2 对比学习的原理1.3 经典对比学习算法系列2 对比学习的应用3 对比学习在转转的实践3.1 CL在推荐召回的实践3.2 CL在转转的未来规划1 什么是对比学习1.1 对比学习的定义对比学习(Contrastive Learning, CL)是近年来 AI 领域的热门研究方向,吸引了众多研究学者的关注,其所属的自监督学习方式,更是在 ICLR 2020 被 Bengio 和 LeCun 等大佬点名称为 AI 的未来,后陆续登陆 NIPS, ACL,

Michael Bronstein从代数拓扑学取经,提出了一种新的图神经网络计算结构!Michael Bronstein从代数拓扑学取经,提出了一种新的图神经网络计算结构!Apr 09, 2023 pm 10:11 PM

本文由Cristian Bodnar 和Fabrizio Frasca 合著,以 C. Bodnar 、F. Frasca 等人发表于2021 ICML《Weisfeiler and Lehman Go Topological: 信息传递简单网络》和2021 NeurIPS 《Weisfeiler and Lehman Go Cellular: CW 网络》论文为参考。本文仅是通过微分几何学和代数拓扑学的视角讨论图神经网络系列的部分内容。从计算机网络到大型强子对撞机中的粒子相互作用,图可以用来模

微软提出自动化神经网络训练剪枝框架OTO,一站式获得高性能轻量化模型微软提出自动化神经网络训练剪枝框架OTO,一站式获得高性能轻量化模型Apr 04, 2023 pm 12:50 PM

OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代,如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本,同时尽可能小地损失模型性能,压缩神经网络成为了 DNN 产品化的关键之一。DNN 压缩通常来说有三种方式,剪枝,知识蒸馏和量化。剪枝旨在识别并去除冗余结构,给 DNN 瘦身的同时尽可能地保持模型性能,是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成,共同作用来达到最佳的压缩效果。然而现存的剪枝方法大都只针对特定模型,特定任务,且需要很

用AI寻找大屠杀后失散的亲人!谷歌工程师研发人脸识别程序,可识别超70万张二战时期老照片用AI寻找大屠杀后失散的亲人!谷歌工程师研发人脸识别程序,可识别超70万张二战时期老照片Apr 08, 2023 pm 04:21 PM

​AI面部识别领域又开辟新业务了?这次,是鉴别二战时期老照片里的人脸图像。近日,来自谷歌的一名软件工程师Daniel Patt 研发了一项名为N2N(Numbers to Names)的 AI人脸识别技术,它可识别二战前欧洲和大屠杀时期的照片,并将他们与现代的人们联系起来。用AI寻找失散多年的亲人2016年,帕特在参观华沙波兰裔犹太人纪念馆时,萌生了一个想法。这一张张陌生的脸庞,会不会与自己存在血缘的联系?他的祖父母/外祖父母中有三位是来自波兰的大屠杀幸存者,他想帮助祖母找到被纳粹杀害的家人的照

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。