1
关注中国自动化产业发展的先行者!
2024中国自动化产业年会
2023
2023年工业安全大会
OICT公益讲堂
当前位置:首页 >> 资讯 >> 行业资讯

资讯频道

边缘计算和深度学习之间的交融
  • 作者:刘志成,韩溢文,沈仕浩,宋金铎,王晓飞
  • 点击数:14313     发布时间:2020-03-07 18:27:00
  • 分享到:
随着网络终端的不断普及与互联网应用的快速发展,当今网络不仅要应对日益增长的传输流量,也要满足用户多样化的需求指标。云计算在诸如服务延迟与传输开销等方面难以适应趋势,边缘计算(Edge Computing)则将运算资源从云下移到了网络边缘,并通过就近处理数据的方式提升性能。作为人工智能的主要代表之一,深度学习一方面可以被集成到边缘计算的框架中以构建智能边缘,另一方面也能以服务的形式部署在边缘上从而实现边缘智能。本文从边缘计算与深度学习融合的趋势出发,介绍 “边缘智能”与“智能边缘”的概念与应用场景,并说明典型的使能技术及其相互联系。
关键词:

摘要:随着网络终端的不断普及与互联网应用的快速发展,当今网络不仅要应对日益增长的传输流量,也要满足用户多样化的需求指标。云计算在诸如服务延迟与传输开销等方面难以适应趋势,边缘计算(Edge Computing)则将运算资源从云下移到了网络边缘,并通过就近处理数据的方式提升性能。作为人工智能的主要代表之一,深度学习一方面可以被集成到边缘计算的框架中以构建智能边缘,另一方面也能以服务的形式部署在边缘上从而实现边缘智能。本文从边缘计算与深度学习融合的趋势出发,介绍 “边缘智能”与“智能边缘”的概念与应用场景,并说明典型的使能技术及其相互联系。

关键词:边缘计算;深度学习;使能技术

Abstract: Withthegradualpopularizationofnetworkterminals and the rapid development of Internet applications, network nowadays not only deals withever-increasing transmission traffic, but also needs to meet diversified requirements from users.Cloud computing is difficult on such aspects as service latency and transmission cost to adaptto the trend,whil eedge computing moves computing resources from the cloudto the edge of the network,which can improve performance through processing data at the place close to users.As the main representative of artificial intelligence,deep learning can be integrated into edge computing frameworks to build intelligent edge,on the other hand, it can be deployed as a service on the edge to realize edge intelligence. Based on the trend of the fusion between edge computing and deep learning, this paper introduces the concepts along with application scenarios of edge intelligence and intelligent edge, illustrates the typical enabling technologies and their interrelationships.

Key words:Edge computing;Deep learning;Enabling technologies

1 引言

随着网络终端的不断普及与互联网应用的发展创新,当今网络不仅要承载日益增长的传输流量,也要满足用户多样化的需求指标。为了改进云计算在业务延迟与传输代价等方面上的不足,边缘计算(EdgeComputing)[1]将运算资源从云下推到网络边缘,并根据应用需求将数据就近处理。

在边缘计算这一概念的发展历程中,Cloudlet[2]、微数据中心(MDC)[3]、雾计算[4]等概念都致力于在网络的边缘处工作。而针对移动网络中的边缘计算,欧洲电信标准化协会(ETSI)于2014年将其定义为“移动边缘计算”(MobileEdgeComputing,MEC),并在2016年又将其重新命名为“多接入边缘计算”(Multi-access Edge Computing,MEC),以提高该概念在异构网络中的适用性。

与此同时,作为风头正盛的人工智能技术,深度学习(Deep Learning,DL)受到工业界与学术界的大量关注,并与边缘计算结下了不解之缘。一方面,DL可被集成至边缘计算的框架中,实现网络边缘的自适应管理。另一方面,边缘计算也将大量的模型计算从云下推到边缘端,达到低延迟、高可靠的智能业务。边缘计算和深度学习相互促进,进而衍生出了“边缘智能”与“智能边缘”这两个概念,如图1所示。

75.jpg

图1 边缘智能与智能边缘

2 边缘智能与智能边缘

依托边缘算力的增长与计算范式的革新,边缘计算将多种资源下沉至距终端更近的网络边缘处。这不仅使得更加智能的算法能够从云端走近终端用户,也能在网络边缘执行各类业务的处理过程。

边缘智能的原理即是将DL的计算过程从云下放至边缘,以支持低延迟、高可靠、分布式的智能服务,并具有以下优点:(1)由于DL服务被部署在更接近请求源的位置,而云仅仅在需要额外处理时才参与过程,因此会显著地减少数据上传的延迟与开销;(2)DL服务涉及的原始数据被限制在了“端-边”区域,因此增强了数据的隐私性;(3)分层体系结构提供了更可靠的DL计算;(4)依靠边缘环境中丰富的数据流动与多样的业务场景,边缘计算能够促进DL在各种环境下的普遍应用。(5)多样化与有价值的DL服务能够拓宽边缘计算的商业价值,进而加速其部署与增长。

作为典型且热门的AI技术之一,DL在计算机视觉(CV)和自然语言处理(NLP)领域展现出了强大的性能优势[5],相应的智能服务与应用也在改变着人们的生活[6]

智能边缘的目的即是将DL融入边缘以支持动态的、自适应的资源分配与管理。这不仅有效整合了终端设备、网络边缘与云数据中心的多种资源,也能支持更为复杂的业务优化与任务协作。以往求解该类复杂问题的传统方法依赖于固定的数学模型,难以精确地模拟快速变化的边缘环境。相对地,DL则可以利用其强大的学习与推理能力,从大量数据中提取有价值的信息,进而实现自适应的智能决策过程。

为了进一步叙述边缘智能和智能边缘之间的关系,基于已有的研究工作[7],本文归纳并简要介绍了五种典型的使能技术:

(1)边缘上的深度学习应用(DLonEdge);

(2)边缘中的深度学习推理(DLinEdge);

(3)边缘处的深度学习训练(DLatEdge);

(4)适用于深度学习的边缘计算(EdgeforDL);

(5)深度学习用于边缘计算优化(DLforEdge)。

其中,“DL on Edge”和“DL for Edge”分别对应于边缘智能和智能边缘的理论目标,而“DL inEdge”、“Edge for DL”与“DL at Edge”则展示了边缘计算与深度学习对于DL推理、边缘计算架构与DL训练的重要支持。边缘智能与智能边缘的概念关系如图2所示。

58.jpg

图2 边缘智能与智能边缘的概念关系

3 典型使能技术

3.1 边缘上的深度学习应用(DL on Edge)

由于移动终端的计算资源较为有限,而DL又存在模型复杂与计算量大的特点,因此“端-云”架构被提出以实现模型的训练与推理,即:端(边缘设备)提供模型输入,云(远程数据中心)执行计算过程。然而,随着求解问题复杂度的不断增加,该架构逐渐难以满足用户对分析实时性的需求。因此,有研究提出在网络边缘分配运算资源来支持DL,从而降低传输时延、缓解带宽压力。

作为一种DL的典型业务,实时视频分析广泛应用于自动驾驶、虚拟现实、增强现实、智能监控等领域。具体地,一种有效的解决方案是将“端-云”架构扩展为“端-边-云”架构:在终端层,智能手机和监控摄像机等视频采集设备负责视频采集、数据压缩与图像预处理[8];在边缘层,众多分布式的边缘节点相互协作,向终端节点提供视频处理与分析服务[9];在云的层面上,由云负责多个边缘层之间的DL模型集成,实现全局层面的知识汇聚,并在边缘能力不足时提供支持与协作[10]

3.2 边缘中的深度学习推理(DL in Edge)

前文已经说明将边缘计算引入DL业务中可以降低网络时延。然而,由于边缘节点无法提供与云数据中心相当的计算能力,如果在边缘设备中实现DL的推理过程,就需要达到推理准确率和网络时延之间的有效权衡。具体地,可以根据边缘节点的资源是否丰富将模型优化方法分为两类。

在边缘节点计算能力足够的情况下,可以采取一般性的优化方法改进推断过程,即在不改变模型本身结构的情况下采用控制模型深度、实现参数共享等通用性的手段实现优化[11~12];反之,则要采取细粒度的优化方法,即从模型的输入、结构与框架等方面深入优化,并根据特定硬件设备与应用场景专门制定优化方案[13~14]。缩小搜索空间以实现模型优化的样例如图3所示。

59.jpg

图3 缩小搜索空间以实现模型优化的样例

其次,分割DL模型并执行分布式计算能够实现更优的延迟表现与能量效率。具体地,DL模型可被切分为多个区块,并分配给终端上的异构处理器或者其它的边缘节点中。其中,沿“端-边-云”层次区分的水平分割是最常用的分割方法[15],分为以下三个步骤:(1)对每个层的资源成本与层间的中间数据大小进行测量与建模;(2)根据层结构与网络带宽来预测总成本;(3)根据时延、能量等指标选择划分方案。与水平分割相比,垂直分割融合了多个不同的层,以网格的方式垂直划分它们,从而形成可独立分配的计算任务[16]

此外,我们可以为每个DL服务维护多个具有不同模型性能和资源成本的模型,并通过智能地选择最佳模型实现自适应推理。同时,也可以通过额外设置分支分类器实现提前退出的机制[17]。当样本在分支处判断并且结果符合场景的可信度要求时,就直接返回运算结果,从而节省大量的推理时间。

3.3 边缘处的深度学习训练(DL at Edge)

相对于推理过程而言,以往研究中的DL训练主要是在云数据中心中进行,终端或边缘只执行数据预处理的步骤[18]。然而,该种方式并不适用于所有的场景,特别是对于位置相关和需要持续训练的DL模型。其中一个原因是,在该种情况下将会有大量的数据从终端或边缘持续地传输到云端,并消耗无线与骨干网络的带宽。此外,数据合并的过程也往往会引发隐私相关的问题。

为了应对以上挑战,已有研究提出基于边缘计算对数据进行处理和训练。具体地,研究者将以边缘作为训练核心的架构称为“边缘处的深度学习训练”,并针对分布式训练中的数据摘要与模型更新的过程展开了研究。在边缘处的分布式训练避免了海量的训练数据直接在网络中传输,却也引入了边缘设备之间模型交互的通信过程,并同样受到网络状态的影响。

对此,已有研究指出大部分的梯度交换是冗余的,因此在保持训练精度的前提下,更新后的梯度数据可以被压缩以降低通信成本[19]。降低分布式训练中同步频率也是可行的方法之一,例如:已有工作结合了两种优化机制[20]:其一是考虑到训练梯度稀疏这一特点,训练过程仅仅传输较为重要的梯度;其二是累积较小的梯度值,并采用动量校正的方法优化运算过程,改进了忽略细微梯度导致算法难以收敛的状况。

综合考虑非独立同分布(Non-IID)的训练数据、有限的通信资源、不均衡的训练贡献、训练数据的隐私性等诸多分布式训练中的关键挑战,联邦学习[21](FederatedLearning)实现了一种“端-边-云”之间实用的DL训练机制,并在边缘计算中得到了广泛的应用与拓展[22~23]

3.4 适用于深度学习的边缘计算(Edge for DL)

DL服务的大规模部署需要边缘计算的支持,特别是对于移动DL来说。这种支持不仅在于网络架构级别,边缘软硬件的设计、改进与优化也同样重要。从整体来看,边缘计算的体系结构能够卸载DL的计算负担;作为其中的基础,面向边缘定制的软硬件能够更有效地执行DL;在此之上,精心设计的边缘计算系统能够更好地运维在边缘的DL服务;此外,用于公平地评估DL性能的测试平台有助于进一步地改进以上工作。

根据分流程度与协作方式,可以将适用于深度学习的边缘计算分为四种:第一种是整体卸载[24],即将整个任务在“端-边-云”三个层次中的任意一层中执行完成,但这需要提前准备好具有不同精确度的多种模型,再根据需求和条件执行计算任务。第二种是动态地拆分计算任务至上述三个层次(部分卸载[25]),而这需要进一步地考虑任务切分与执行顺序等问题。第三种是采用垂直协作的模式[26],三个层次均可以执行推理过程,其中层次越高,问题求解的精确度也就越高。在这种方式中可以将低层次的输出作为高层次的输入,从而降低计算过程中的运算与传输开销。第四种是采用水平协作的模式[27],这种协作通过并行的、分布式地执行计算任务,并可以有效降低单点的计算压力,节省系统中计算时间的开销。DL计算的边缘计算模式如图4所示。

60.jpg

图4 DL计算的边缘计算模式

3.5 深度学习用于边缘计算优化(DL for Edge)

深度学习也能优化边缘计算这一模式中的各类决策问题,进而实现边缘的智慧管理。例如:自适应的边缘缓存策略、计算任务的分流优化、边缘节点的资源分配。其中,通用的DL模型可以提取潜在的数据特征,而DRL则能够通过与环境的交互来学习并制定决策。接下来就以自适应的边缘缓存策略为例展示具体应用。

以内容分发网络(Content Delivery Network,CDN)为典型的缓存技术,是传统网络中一种应对流量增长的有效方法,多年来一直受到大量关注。而在移动网络中,边缘缓存(Edge caching)被认为是减少冗余数据传输、缓解云数据中心压力与提高QoE的有效解决方案,然而也存在着一些挑战与机遇。例如,由于传输内容多种多样并随着时-空属性改变而变化,边缘覆盖范围内的内容流行度实际上难以估计。此外,只有在已知内容流行度分布的情况下,最优的边缘缓存策略才能被求解得到。进一步地,又考虑到用户诸如移动性、连接性与个人偏好等属性随时间的变化而变化,用户对于内容的实际选择是较难预测的,因此,传统的求解方法需要通过大量的在线计算来确定具体实例的放置与交付,因此通常具有相当高的计算复杂度。与之对应,通用的DL模型能够利用离线训练-在线预测的方式,降低在线过程的繁重计算[28]。进一步地,相比于通用的DL方法从原始数据中学习关键特征,将RL和DL相结合的DRL方法能够借助高维观测数据直接优化边缘计算网络中的缓存管理策略[29]

4 总结

作为当今人工智能领域最为火热的概念之一,深度学习在解决复杂问题上展现出了强大的实力,并催生出了多种多样的应用场景。然而,随着求解问题的逐渐复杂,深度学习对计算能力与数据传输的要求不断提高,传统的“端-云”计算架构逐渐难以满足业务需求。

作为一种新型的计算模式,边缘计算为深度学习开辟了另一片广阔的天地。一方面,边缘计算能够优化配置网络中的各类资源,从而改进深度学习的性能表现;另一方面,深度学习也能够反向促进边缘计算的发展,体现出超越传统方法的性能表现与应用前景。因此,本文介绍了边缘计算与深度学习之间的关系与使能技术,说明了边缘智能与智能边缘中的典型应用。总的来说,深度学习与边缘计算的相互融合与彼此促进将会不断地、广泛地、更加深刻地改变人类的日常生活。

参考文献:

[1] W.Shi,J.Cao et al.Edge Computing:Vision and Challenges[J].IEEE Internet Things J,2016,3(5):637-646.

[2] M.Satyanarayanan,P.Bahl,R.Cceres,N.Davies.The case for vm-based cloudlets in mobile computing[J].IEEE Pervasive Comput,2009,8(4):14-23.

[3] M.Aazam,E.Huh.Fog computing micro datacenter based dynamic resource estimation and pricing model for iot[C].IEEE 29th International Conference on Advanced Information Networking and Applications(AINA 2019),2015:687-694.

[4] F.Bonomi,R.Milito,J.Zhu,S.Addepalli.Fog computing and its rolein the internet of things[C].The first edition of the MCC workshop on Mobile cloud computing,2012:13-16.

[5] J.Schmidhuber.Deep learning in neural networks:An overview[J].Neural Networks,2015,61,85-117.

[6] J.Redmon,S.Divvalaetal.You Only Look Once:Unified,RealTime Object Detection[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2016).2016:779-788.

[7] Yiwen Han,Xiaofei Wang,Victor C.M.Leung,et al.Convergence of Edge Computing and Deep Learning:A Comprehensive Survey[M].

[8] C.Liu,Y.Cao,Y.Luo et al.A New Deep Learning-Based Food Recognition System for Dietary Assessment on An Edge Computing Service Infrastructure[J].IEEE Trans.Serv.Comput,2018,11(2):249-261.

[9] S.Yi,Z.Hao,Q.Zhang et al.LAVEA:Latency-aware Video Analytics on Edge Computing Platform[C].in Proc.the Second ACM/IEEE Symposium on Edge Computing(SEC 2017),2017:1-13.

[10] J.Ren,Y.Guo,D.Zhang et al.Distributed and Efficient Object Detection in Edge Computing: Challenges and Solutions[J].IEEE Network,2018,32(6):137-143.

[11] C.Szegedy,WeiLiu,Yangqing Jia et al.Going deeper with convolutions[C].2015 IEEE Conference on Computer Visionand Pattern Recognition(CVPR 2015),2015:1-9.

[12] K.He,X.Zhang,S.Ren,and J.Sun.Deep Residual Learning for Image Recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2016),2016:770-778.

[13] X.Zhang,X.Zhou,M.Lin,and J.Sun.Shufflenet:An extremely efficient convolutional neural network for mobile devices[C].2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR 2018),2018:6848-6856.

[14] L.Lai and N.Suda.Enabling deep learning at the IoT edge[C].The International Conference on Computer-Aided Design(ICCAD 2018),2018:1-6.

[15] Z.Zhao,Z.Jiang,N.Ling et al.ECRT:An Edge Computing System for Real-Time Image-based Object Tracking[C].The 16th ACM Conference on Embedded Networked Sensor Systems(SenSys 2018).2018:394-395.

[16] Z.Zhao,K.M.Barijough,and A.Gerstlauer.DeepThings:Distributed Adaptive Deep Learning Inference on Resource-Constrained IoT Edge Clusters[J].IEEE Trans.Comput.Aided Des.Integr.Circuits Syst.2018,37(11):2348-2359.

[17] S.Teerapittayanon et al.BranchyNet:Fast inference via early exiting from deep neural networks[C].The 23rd International Conference on Pattern Recognition(ICPR 2016),2016:2464-2469.

[18] Y.Huang,Y.Zhu,X.Fan et al.Task Scheduling with Optimized Transmission Time in Collaborative Cloud-Edge Learning[C].27th International Conference on Computer Communication and Networks(ICCCN 2018),2018:1-9.

[19] Y.Lin,S.Han,H.Mao et al.Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training[Z].eprint arXiv:1712.01887,2017.

[20] Z.TaoandC.William.eSGD:Communication Efficient Distributed Deep Learning on the Edge[C]. USENIX Works hop on Hot Topics in Edge Computing (HotEdge 18),2018:1-6.

[21] H.B.McMahan,E.Moore,D.Ramage et al.Communication efficient learning of deep networks from decentralized data[C].The 20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017).2017:1273-1282.

[22] S.Samarakoon,M.Bennis,W.Saad,andM.Debbah.Distributed Federated Learning for Ultra-Reliable Low-Latency Vehicular Communications.arXiv preprint arXiv:1807.08127,2018.

[23] C.Xie,S.Koyejo,andI.Gupta.Practical Distributed Learning: Secure Machine Learning with Communication-Efficient Local Updates. arXiv preprint arXiv:1903.06996, 2019.

[24] X.Ran,H.Chen,Z.Liu et al.Delivering Deep Learning to Mobile Devices via Offloading[C].The Workshop on Virtual Reality and Augmented Reality Network(VR/AR Network 2017),2017:42-47.

[25] E.Cuervo,A.Balasubramanian,D.-k.Choetal.MAUI:Making Smartphones Last Longer with Code Offload[C].The 8th international conference on Mobile systems,applications, and services(MobiSys 2010),2010,49-62.

[26] Y.Huang,X.Ma,X.Fan et al.When deep learning meets edge computing[C].IEEE 25th International Conference on Network Protocols(ICNP 2017),2017,1-2.

[27] J.Mao,X.Chen,K.W.Nixonetal.MoDNN:Local distributed mobile computing systemfor Deep Neural Network[C].Design, Automation&Test in Europe Conference & Exhibition(DATE 2017),2017, 1396-1401.

[28] A.Ndikumana,N.H.Tran,and C.S.Hong.Deep Learning Based Caching for Self-Driving Car in Multi-access Edge Computing.arXiv preprint arXiv:1810.01548,2018.

[29] D.AdelmanandA.J.Mersereau.Relaxations of weakly coupled stochastic dynamic programs[J].Operations Research,2008,56(3):712-727.

作者简介:

刘志成,天津大学智能与计算学部计算机科学与技术学院博士研究生在读。

韩溢文,天津大学智能与计算学部计算机科学与技术学院博士研究生在读。

沈仕浩,天津大学智能与计算学部计算机科学与技术学院硕士研究生在读。

宋金铎,天津大学智能与计算学部计算机科学与技术学院本科生在读。

王晓飞,天津大学智能与计算学部计算机科学与技术学院教授、博士生导师,担任天津大学-天津电信联合研究中心主任,入选青年海外高层次人才引进计划。迄今在 IEEE JSAC,IEEE Trans.on Wireless Comm.,IEEE WirelessComm.,IEEE Trans.on Multimedia,IEEE INFOCOM等国际高水平会议与权威期刊发表论文100余篇。获得IEEE通讯协会“年度最佳杂志论文奖(Fred W.EllersickPrize)”,获得CCF-Intel青年学者提升计划、ACM ChinaRising Star、天津大学“北洋青年学者”等科研奖励。

摘自《自动化博览》2020年2月刊

热点新闻

推荐产品

x
  • 在线反馈
1.我有以下需求:



2.详细的需求:
姓名:
单位:
电话:
邮件: