搜索
首页科技周边人工智能具有生物启发训练方法的物理深度学习:物理硬件的无梯度方法

对人工智能不断增长的需求推动了对基于物理设备的非常规计算的研究。虽然此类计算设备模仿了大脑启发的模拟信息处理,但学习过程仍然依赖于为数字处理优化的方法,例如反向传播,这不适合物理实现。

在这里,来自日本 NTT 设备技术实验室(NTT Device Technology Labs)和东京大学的研究团队通过扩展一种称为直接反馈对齐(DFA)的受生物学启发的训练算法来展示物理深度学习。与原始算法不同,所提出的方法基于具有替代非线性激活的随机投影。因此,可以在不了解物理系统及其梯度的情况下训练物理神经网络。此外,可以在可扩展的物理硬件上模拟此训练的计算。

研究人员使用称为深储层计算机的光电递归神经网络演示了概念验证。证实了在基准测试中具有竞争性能的加速计算的潜力。研究结果为神经形态计算的训练和加速提供了实用的解决方案。

该研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」为题,于 2022 年 12 月 26 日发布在《Nature Communications》上。

物理深度学习

基于人工神经网络 (ANN) 的机器学习在图像处理、语音识别、游戏等方面的破纪录表现成功展示了其卓越的能力。尽管这些算法类似于人脑的工作方式,但它们基本上是使用传统的冯诺依曼计算硬件在软件层面上实现的。然而,这种基于数字计算的人工神经网络面临着能耗和处理速度方面的问题。这些问题促使使用替代物理平台实现人工神经网络。

有趣的是,即使是被动物理动力学也可以用作随机连接的 ANN 中的计算资源。该框架被称为物理储层计算机(RC)或极限学习机(ELM),其易于实现极大地扩展了可实现材料的选择及其应用范围。这种物理实现的神经网络 (PNN) 能够将特定任务的计算负载外包给物理系统。

构建更深层次的物理网络是进一步提高性能的一个有前途的方向,因为它们可以以指数方式扩展网络表达能力。这激发了使用各种物理平台的深度 PNN 的提议。他们的训练基本上依赖于一种称为反向传播(BP)的方法,该方法在基于软件的 ANN 中取得了巨大成功。但是,BP 在以下方面不适用于 PNN。首先,BP 操作的物理实现仍然复杂且不可扩展。其次,BP 需要对整个物理系统有准确的了解。此外,当我们将 BP 应用于 RC 时,这些要求破坏了物理 RC 的独特特性,即我们需要准确地了解和模拟黑盒物理随机网络。

与 PNN 中的 BP 一样,BP 在生物神经网络中的操作难度也被脑科学界指出;BP 在大脑中的合理性一直受到质疑。这些考虑促使开发了生物学上合理的训练算法。

近期一个有前途的方向是直接反馈对齐 (DFA)。在该算法中,采用最终输出层误差信号的固定随机线性变换来代替反向误差信号。因此,这种方法不需要误差信号的逐层传播或权重的知识。此外,据报道,DFA 可扩展到现代大型网络模型。这种以生物学为动机的训练的成功表明,有一种比 BP 更合适的方法来训练 PNN。然而,DFA 仍然需要非线性函数 f(x) 的导数 f'(a) 进行训练,这阻碍了 DFA 方法在物理系统中的应用。因此,DFA 的更大幅度扩展对于 PNN 应用很重要。

DFA 及其对物理深度学习的增强

在此,研究人员通过增强 DFA 算法来演示物理深度学习。在增强 DFA 中,用任意非线性 g(a) 替换标准 DFA 中物理非线性激活 f'(a) 的微分,并表明性能对 g(a) 的选择具有稳健性。由于这种增强,不再需要准确地模拟 f'(a)。由于所提出的方法基于具有任意非线性激活的并行随机投影,可以按照与物理 ELM 或 RC 概念相同的方式在物理系统上执行训练计算。这使得推理和训练的物理加速成为可能。

图片

图:PNN 的概念及其通过 BP 和增强 DFA 进行的训练。(来源:论文)

为了演示概念验证,研究人员构建了一个 FPGA 辅助的光电深度物理 RC 作为工作台。尽管 benchtop 简单易用,仅需软件级更新即可应用于各种物理平台,但实现了可与大型复杂的最先进系统相媲美的性能。

图片

图:具有增强 DFA 训练的光电深度 RC 系统。(来源:论文)

此外,还比较了整个处理时间,包括数字处理的时间,发现了训练过程物理加速的可能性。

图片

图:光电深 RC 系统的性能。(来源:论文)

RC 工作台的处理时间预算细分如下:FPGA 处理(数据传输、内存分配和 DAC/ADC)约为 92%;约 8% 的数字处理用于预处理/后处理。因此,在当前阶段,处理时间主要由 FPGA 和 CPU 上的数字计算决定。这是因为光电工作台仅使用一条非线性延迟线实现了一个储层;这些限制可以通过在未来使用完全并行和全光计算硬件来放宽。可以看出,CPU 和 GPU 上的计算针对节点数显示了 O(N^2) 趋势,而 benchtop 显示了 O(N),这是由于数据传输瓶颈造成的。

对于 BP 和增强 DFA 算法,CPU 之外的物理加速度分别在 N ~5,000 和 ~12,000 处被观察到。然而,就计算速度而言,由于 GPU 的内存限制,尚未直接观察到针对 GPU 的有效性。通过推断 GPU 趋势,可以在 N ~80,000 时观察到超过 GPU 的物理加速。据我们所知,这是对整个训练过程的首次比较,也是首次使用 PNN 进行体能训练加速演示。

为了研究所提方法对其他系统的适用性,使用广泛研究的光子神经网络进行了数值模拟。此外,实验证明的基于延迟的 RC 被证明非常适合各种物理系统。关于物理系统的可扩展性,构建深度网络的主要问题是其固有噪声。通过数值模拟研究了噪声的影响。发现该系统对噪声具有稳健性。

所提出方法的可扩展性和局限性

在这里,考虑了基于 DFA 的方法对更现代模型的可扩展性。实际深度学习最常用的模型之一是深度连接的卷积神经网络 (CNN)。然而,据报道,DFA 算法很难应用于标准 CNN。因此,所提出的方法可能难以以简单的方式应用于卷积 PNN。

考虑到模拟硬件实现,对 SNN 的适用性也是一个重要主题。已经报道了基于 DFA 的训练对 SNN 的适用性,这意味着该研究所提出的增强 DFA 可以使训练更容易。

虽然基于 DFA 的算法有可能扩展到比简单的 MLP 或 RC 更实用的模型,但将基于 DFA 的训练应用于此类网络的有效性仍然未知。在这里,作为这项研究的额外工作,研究了基于 DFA 的训练(DFA 本身和增强的 DFA)对上述模型(MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN)的可扩展性。研究发现基于 DFA 的训练即使对于探索的实用模型也是有效的。虽然基于 DFA 的训练可达到的准确度基本上低于 BP 训练,但对模型和/或算法进行一些调整可以提高性能。值得注意的是,对于所有探索的实验设置,DFA 和增强 DFA 的准确性都具有可比性,这表明 DFA 本身的进一步改进将直接有助于改进增强 DFA。结果表明,该方法可扩展到未来对 PNN 的实用模型的实现,而不仅仅是简单的 MLP 或 RC 模型。

表 1:增强 DFA 对实际网络模型的适用性。(来源:论文)

图片

物理硬件中的 BP 与 DFA

一般来说,BP 在物理硬件上实现起来非常困难,因为它需要计算图中的所有信息。因此,物理硬件的训练一直是通过计算模拟来完成的,这会产生大量的计算成本。此外,模型与实际系统之间的差异导致精度下降。相反,增强的 DFA 不需要关于物理系统的准确先验知识。因此,在深度 PNN 中,基于 DFA 的方法在准确性方面比基于 BP 的方法更有效。此外,可以使用物理硬件加速计算。

此外,DFA 训练不需要逐层计算的顺序误差传播,这意味着每一层的训练可以并行执行。因此,更优化和并行的 DFA 实现可能会带来更显着的加速。这些独特的特征表明基于 DFA 的方法的有效性,特别是对于基于物理硬件的神经网络。另一方面,增强 DFA 训练的模型的准确性仍然不如 BP 训练的模型。进一步提高基于 DFA 的训练的准确性仍然是未来的工作。

进一步的物理加速

物理实现证实了具有大节点(large-node)数的 RC 循环处理的加速。但是,它的优势仍然有限,需要进一步改进。当前原型的处理时间表示为 FPGA 的数据传输和内存分配。因此,将所有过程集成到 FPGA 中将大大提高性能,但会牺牲实验灵活性。此外,将来,机载光学方法将大大降低传输成本。大规模光集成和片上集成将进一步提升光计算本身的性能。

以上是具有生物启发训练方法的物理深度学习:物理硬件的无梯度方法的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
10个生成AI编码扩展,在VS代码中,您必须探索10个生成AI编码扩展,在VS代码中,您必须探索Apr 13, 2025 am 01:14 AM

嘿,编码忍者!您当天计划哪些与编码有关的任务?在您进一步研究此博客之前,我希望您考虑所有与编码相关的困境,这是将其列出的。 完毕? - 让&#8217

烹饪创新:人工智能如何改变食品服务烹饪创新:人工智能如何改变食品服务Apr 12, 2025 pm 12:09 PM

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

Python名称空间和可变范围的综合指南Python名称空间和可变范围的综合指南Apr 12, 2025 pm 12:00 PM

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

视觉语言模型(VLMS)的综合指南视觉语言模型(VLMS)的综合指南Apr 12, 2025 am 11:58 AM

介绍 想象一下,穿过​​美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

联发科技与kompanio Ultra和Dimenty 9400增强优质阵容联发科技与kompanio Ultra和Dimenty 9400增强优质阵容Apr 12, 2025 am 11:52 AM

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

生成的AI遇到心理摩托车生成的AI遇到心理摩托车Apr 12, 2025 am 11:50 AM

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

原型:科学家将纸变成塑料原型:科学家将纸变成塑料Apr 12, 2025 am 11:49 AM

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用