对人工智能不断增长的需求推动了对基于物理设备的非常规计算的研究。虽然此类计算设备模仿了大脑启发的模拟信息处理,但学习过程仍然依赖于为数字处理优化的方法,例如反向传播,这不适合物理实现。
在这里,来自日本 NTT 设备技术实验室(NTT Device Technology Labs)和东京大学的研究团队通过扩展一种称为直接反馈对齐(DFA)的受生物学启发的训练算法来展示物理深度学习。与原始算法不同,所提出的方法基于具有替代非线性激活的随机投影。因此,可以在不了解物理系统及其梯度的情况下训练物理神经网络。此外,可以在可扩展的物理硬件上模拟此训练的计算。
研究人员使用称为深储层计算机的光电递归神经网络演示了概念验证。证实了在基准测试中具有竞争性能的加速计算的潜力。研究结果为神经形态计算的训练和加速提供了实用的解决方案。
该研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」为题,于 2022 年 12 月 26 日发布在《Nature Communications》上。
物理深度学习
基于人工神经网络 (ANN) 的机器学习在图像处理、语音识别、游戏等方面的破纪录表现成功展示了其卓越的能力。尽管这些算法类似于人脑的工作方式,但它们基本上是使用传统的冯诺依曼计算硬件在软件层面上实现的。然而,这种基于数字计算的人工神经网络面临着能耗和处理速度方面的问题。这些问题促使使用替代物理平台实现人工神经网络。
有趣的是,即使是被动物理动力学也可以用作随机连接的 ANN 中的计算资源。该框架被称为物理储层计算机(RC)或极限学习机(ELM),其易于实现极大地扩展了可实现材料的选择及其应用范围。这种物理实现的神经网络 (PNN) 能够将特定任务的计算负载外包给物理系统。
构建更深层次的物理网络是进一步提高性能的一个有前途的方向,因为它们可以以指数方式扩展网络表达能力。这激发了使用各种物理平台的深度 PNN 的提议。他们的训练基本上依赖于一种称为反向传播(BP)的方法,该方法在基于软件的 ANN 中取得了巨大成功。但是,BP 在以下方面不适用于 PNN。首先,BP 操作的物理实现仍然复杂且不可扩展。其次,BP 需要对整个物理系统有准确的了解。此外,当我们将 BP 应用于 RC 时,这些要求破坏了物理 RC 的独特特性,即我们需要准确地了解和模拟黑盒物理随机网络。
与 PNN 中的 BP 一样,BP 在生物神经网络中的操作难度也被脑科学界指出;BP 在大脑中的合理性一直受到质疑。这些考虑促使开发了生物学上合理的训练算法。
近期一个有前途的方向是直接反馈对齐 (DFA)。在该算法中,采用最终输出层误差信号的固定随机线性变换来代替反向误差信号。因此,这种方法不需要误差信号的逐层传播或权重的知识。此外,据报道,DFA 可扩展到现代大型网络模型。这种以生物学为动机的训练的成功表明,有一种比 BP 更合适的方法来训练 PNN。然而,DFA 仍然需要非线性函数 f(x) 的导数 f'(a) 进行训练,这阻碍了 DFA 方法在物理系统中的应用。因此,DFA 的更大幅度扩展对于 PNN 应用很重要。
DFA 及其对物理深度学习的增强
在此,研究人员通过增强 DFA 算法来演示物理深度学习。在增强 DFA 中,用任意非线性 g(a) 替换标准 DFA 中物理非线性激活 f'(a) 的微分,并表明性能对 g(a) 的选择具有稳健性。由于这种增强,不再需要准确地模拟 f'(a)。由于所提出的方法基于具有任意非线性激活的并行随机投影,可以按照与物理 ELM 或 RC 概念相同的方式在物理系统上执行训练计算。这使得推理和训练的物理加速成为可能。
图:PNN 的概念及其通过 BP 和增强 DFA 进行的训练。(来源:论文)
为了演示概念验证,研究人员构建了一个 FPGA 辅助的光电深度物理 RC 作为工作台。尽管 benchtop 简单易用,仅需软件级更新即可应用于各种物理平台,但实现了可与大型复杂的最先进系统相媲美的性能。
图:具有增强 DFA 训练的光电深度 RC 系统。(来源:论文)
此外,还比较了整个处理时间,包括数字处理的时间,发现了训练过程物理加速的可能性。
图:光电深 RC 系统的性能。(来源:论文)
RC 工作台的处理时间预算细分如下:FPGA 处理(数据传输、内存分配和 DAC/ADC)约为 92%;约 8% 的数字处理用于预处理/后处理。因此,在当前阶段,处理时间主要由 FPGA 和 CPU 上的数字计算决定。这是因为光电工作台仅使用一条非线性延迟线实现了一个储层;这些限制可以通过在未来使用完全并行和全光计算硬件来放宽。可以看出,CPU 和 GPU 上的计算针对节点数显示了 O(N^2) 趋势,而 benchtop 显示了 O(N),这是由于数据传输瓶颈造成的。
对于 BP 和增强 DFA 算法,CPU 之外的物理加速度分别在 N ~5,000 和 ~12,000 处被观察到。然而,就计算速度而言,由于 GPU 的内存限制,尚未直接观察到针对 GPU 的有效性。通过推断 GPU 趋势,可以在 N ~80,000 时观察到超过 GPU 的物理加速。据我们所知,这是对整个训练过程的首次比较,也是首次使用 PNN 进行体能训练加速演示。
为了研究所提方法对其他系统的适用性,使用广泛研究的光子神经网络进行了数值模拟。此外,实验证明的基于延迟的 RC 被证明非常适合各种物理系统。关于物理系统的可扩展性,构建深度网络的主要问题是其固有噪声。通过数值模拟研究了噪声的影响。发现该系统对噪声具有稳健性。
所提出方法的可扩展性和局限性
在这里,考虑了基于 DFA 的方法对更现代模型的可扩展性。实际深度学习最常用的模型之一是深度连接的卷积神经网络 (CNN)。然而,据报道,DFA 算法很难应用于标准 CNN。因此,所提出的方法可能难以以简单的方式应用于卷积 PNN。
考虑到模拟硬件实现,对 SNN 的适用性也是一个重要主题。已经报道了基于 DFA 的训练对 SNN 的适用性,这意味着该研究所提出的增强 DFA 可以使训练更容易。
虽然基于 DFA 的算法有可能扩展到比简单的 MLP 或 RC 更实用的模型,但将基于 DFA 的训练应用于此类网络的有效性仍然未知。在这里,作为这项研究的额外工作,研究了基于 DFA 的训练(DFA 本身和增强的 DFA)对上述模型(MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN)的可扩展性。研究发现基于 DFA 的训练即使对于探索的实用模型也是有效的。虽然基于 DFA 的训练可达到的准确度基本上低于 BP 训练,但对模型和/或算法进行一些调整可以提高性能。值得注意的是,对于所有探索的实验设置,DFA 和增强 DFA 的准确性都具有可比性,这表明 DFA 本身的进一步改进将直接有助于改进增强 DFA。结果表明,该方法可扩展到未来对 PNN 的实用模型的实现,而不仅仅是简单的 MLP 或 RC 模型。
表 1:增强 DFA 对实际网络模型的适用性。(来源:论文)
物理硬件中的 BP 与 DFA
一般来说,BP 在物理硬件上实现起来非常困难,因为它需要计算图中的所有信息。因此,物理硬件的训练一直是通过计算模拟来完成的,这会产生大量的计算成本。此外,模型与实际系统之间的差异导致精度下降。相反,增强的 DFA 不需要关于物理系统的准确先验知识。因此,在深度 PNN 中,基于 DFA 的方法在准确性方面比基于 BP 的方法更有效。此外,可以使用物理硬件加速计算。
此外,DFA 训练不需要逐层计算的顺序误差传播,这意味着每一层的训练可以并行执行。因此,更优化和并行的 DFA 实现可能会带来更显着的加速。这些独特的特征表明基于 DFA 的方法的有效性,特别是对于基于物理硬件的神经网络。另一方面,增强 DFA 训练的模型的准确性仍然不如 BP 训练的模型。进一步提高基于 DFA 的训练的准确性仍然是未来的工作。
进一步的物理加速
物理实现证实了具有大节点(large-node)数的 RC 循环处理的加速。但是,它的优势仍然有限,需要进一步改进。当前原型的处理时间表示为 FPGA 的数据传输和内存分配。因此,将所有过程集成到 FPGA 中将大大提高性能,但会牺牲实验灵活性。此外,将来,机载光学方法将大大降低传输成本。大规模光集成和片上集成将进一步提升光计算本身的性能。
以上是具有生物启发训练方法的物理深度学习:物理硬件的无梯度方法的详细内容。更多信息请关注PHP中文网其他相关文章!

经常使用“ AI-Ready劳动力”一词,但是在供应链行业中确实意味着什么? 供应链管理协会(ASCM)首席执行官安倍·埃什肯纳齐(Abe Eshkenazi)表示,它表示能够评论家的专业人员

分散的AI革命正在悄悄地获得动力。 本周五在德克萨斯州奥斯汀,Bittensor最终游戏峰会标志着一个关键的时刻,将分散的AI(DEAI)从理论转变为实际应用。 与闪闪发光的广告不同

企业AI面临数据集成挑战 企业AI的应用面临一项重大挑战:构建能够通过持续学习业务数据来保持准确性和实用性的系统。NeMo微服务通过创建Nvidia所描述的“数据飞轮”来解决这个问题,允许AI系统通过持续接触企业信息和用户互动来保持相关性。 这个新推出的工具包包含五个关键微服务: NeMo Customizer 处理大型语言模型的微调,具有更高的训练吞吐量。 NeMo Evaluator 提供针对自定义基准的AI模型简化评估。 NeMo Guardrails 实施安全控制,以保持合规性和适当的

AI:艺术与设计的未来画卷 人工智能(AI)正以前所未有的方式改变艺术与设计领域,其影响已不仅限于业余爱好者,更深刻地波及专业人士。AI生成的艺术作品和设计方案正在迅速取代传统的素材图片和许多交易性设计活动中的设计师,例如广告、社交媒体图片生成和网页设计。 然而,专业艺术家和设计师也发现AI的实用价值。他们将AI作为辅助工具,探索新的美学可能性,融合不同的风格,创造新颖的视觉效果。AI帮助艺术家和设计师自动化重复性任务,提出不同的设计元素并提供创意输入。 AI支持风格迁移,即将一种图像的风格应用

Zoom最初以其视频会议平台而闻名,它通过创新使用Agentic AI来引领工作场所革命。 最近与Zoom的CTO XD黄的对话揭示了该公司雄心勃勃的愿景。 定义代理AI 黄d

AI会彻底改变教育吗? 这个问题是促使教育者和利益相关者的认真反思。 AI融入教育既提出了机遇和挑战。 正如科技Edvocate的马修·林奇(Matthew Lynch)所指出的那样

美国科学研究和技术发展或将面临挑战,这或许是由于预算削减导致的。据《自然》杂志报道,2025年1月至3月期间,美国科学家申请海外工作的数量比2024年同期增加了32%。此前一项民意调查显示,75%的受访研究人员正在考虑前往欧洲和加拿大寻找工作。 过去几个月,数百项NIH和NSF的拨款被终止,NIH今年的新拨款减少了约23亿美元,下降幅度接近三分之一。泄露的预算提案显示,特朗普政府正在考虑大幅削减科学机构的预算,削减幅度可能高达50%。 基础研究领域的动荡也影响了美国的一大优势:吸引海外人才。35

Openai推出了强大的GPT-4.1系列:一个专为现实世界应用设计的三种高级语言模型家族。 这种巨大的飞跃提供了更快的响应时间,增强的理解和大幅降低了成本


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具

SublimeText3汉化版
中文版,非常好用

记事本++7.3.1
好用且免费的代码编辑器