边缘智能(Edge Intelligence)是一种将人工智能(AI)和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策,但这种方式存在延迟和网络带宽的问题。
边缘智能(Edge Intelligence)是一种新兴的技术概念,它指的是将人工智能(AI)算法和模型部署在接近数据源的物联网设备及其附近的网络节点上进行实时数据处理和分析的能力。在过去几年中,AI的快速发展引发了许多创新应用和解决方案。然而,随着AI模型的规模和复杂性不断增加,传统的云计算架构面临着一系列挑战,如高延迟、网络拥塞和数据隐私等问题。为了克服这些挑战,边缘计算和人工智能的结合应运而生,形成了边缘智能的概念。边缘智能不仅将AI模型的训练和推理移动到离用户更近的边缘设备上,如智能手机、传感器、路由器、监控摄像头等。通过在这些边缘设备上进行实时数据处理,快速响应和分析数据,并在本地做出决策,从而避免了将所有数据发送到云端进行处理的延迟和安全隐患,为AI应用带来了许多新的机会。
关于边缘智能的范围和评级,已有研究认为边缘智能是利用终端设备、边缘节点和云数据中心层次结构中的可用数据和资源来优化深度神经网络模型(DNN)的整体训练和推理性能。这意味着边缘智能不一定要在边缘进行训练或推理,而是可以通过数据卸载实现云、边、端的协同工作。根据数据卸载的数量和路径长度,将边缘智能分为六个等级
在计算延迟和能耗增加的代价下,随着边缘智能等级的提高,数据卸载的数量和路径长度会减少,从而降低数据卸载的传输时延,增加数据隐私性,减少网络带宽成本。
边缘分布式深度神经网络训练架构可分为三种模式:集中式、分布式、混合式(云边端协同)
➪ 集中式:DNN模型在云数据中心进行训练,用于训练的数据是从分布式终端设备(如手机、汽车和监控摄像头)生成和收集的,一旦数据到达,云数据中心将使用这些数据进行DNN训练。基于集中式架构的系统,可以根据系统采用的具体推理方式,在边缘智能中识别为第1级、第2级或第3级。
➪ 分布式:每个计算节点使用本地数据在本地训练各自的DNN模型,并将私有信息保存在本地。通过共享本地训练更新来获得全局DNN模型。该模式下,无需云数据中心干预即可训练全局DNN模型,对应边缘智能的第5级。
➪ 混合式(云边端协同):结合集中式和分布式,边缘服务器可以通过分布式更新来训练DNN模型,或者使用云数据中心来集中式训练。对应边缘智能中的第4级和第5级。
目前,边缘智能模型训练方法,主要通过训练损失、收敛性、隐私性、通信成本、延迟和能源效率这6个关键性能指标来评价。
边缘智能模型训练所支持的技术如下所示:
高质量的边缘智能服务部署,除了实现深度学习模型的分布式训练,还需要在边缘高效地实现模型推理。边缘智能的推理模型,分为基于边缘、基于设备、边缘-设备和边缘-云四种模式。
➪ 基于边缘的推理模型:设备处于边缘模式,接收输入数据,然后将他们发送到边缘服务器。边缘服务器完成DNN模型推理,并将预测结果返回给设备。推理性能依赖于设备与边缘服务器之间的网络带宽。
➪ 基于设备的推理模型:设备处于设备模式,移动设备从边缘服务器获取DNN模型,并在本地完成模型推理,在推理过程中,移动设备不断与边缘服务器通信,因此需要移动设备具有CPU、GPU和RAM等资源。
➪ 基于边缘-设备的推理模型:设备处于边缘-设备模式,设备首先根据网络带宽、设备资源和边缘服务器负载等因素将DNN模型划分为多个部分;然后将DNN模型执行到特定层,并将中间数据发送给边缘服务器。边缘服务器将执行剩余层,并将预测结果发送到设备上。
➪ 基于边缘-云的推理模型:设备处于边缘-云模式,设备负责收集输入数据,并通过云边协同执行DNN模型。
边缘智能模型推理的性能主要通过延迟、精度、能量效率、隐私性、通信成本和内存占用这六个指标来进行评价。
边缘智能模型训练所支持的技术如下所示:
边缘智能作为一种新兴的技术领域,有着广阔的研究方向和发展潜力,根据边缘智能的技术特点和应用场景,未来可从以下几个方面进行研究:
以上是新一代技术:边缘智能实现实时数据处理和智能决策的详细内容。更多信息请关注PHP中文网其他相关文章!