终于有人把云边协同讲明白了

作者：韩锐、刘驰 2022-03-08 18:53:46

云计算

云原生 大数据时代的一个显著特点就是云端与边缘端的协同计算。通过边缘端与云端的协同计算，能够对众多的用户数据进行归纳以及推理，从而挖掘出更多的有用信息，而这些信息可以帮助决策者进行决策，减少风险。这些都离不开云计算与边缘计算。

正如前面所述，云计算是一种基于云的计算方式，这里的云指的是通过网络连接的软硬件资源。依赖互联网，可以将各种共享的软硬件资源分配给多个计算机以及其他终端使用，这使得终端设备可以将耗费计算资源多的应用程序、计算过程放到云上进行，大大增加了终端设备的运行效率。

一、云边协同是什么

边缘计算是一种分布式运算的架构，不同于云计算，它将之前由中心服务器负责的任务加以分解，并且将这些分解之后的任务片段分发至网络的边缘端，由边缘端去负责运算。边缘计算降低了相关信息的传输时间，减小了延迟。

云计算虽然可以将大型的计算任务放到云端去进行运算，但是对于需要低延迟的应用来说，则会遇到网络带宽瓶颈等问题。边缘计算可以将任务放到边缘端来进行，因此边缘计算受到了本地边缘终端计算能力的限制。

为了解决上述云计算与边缘计算的缺点，云边协同应运而生。云边协同将云计算与边缘计算紧密地结合起来，通过合理地分配云计算与边缘计算的任务，实现了云计算的下沉，将云计算、云分析扩展到边缘端。随着技术的发展，云边协同一定会在未来的互联网产业之中占有一席之地。

二、云边协同下的数据安全场景

随着云计算与边缘计算的发展，数据安全问题也成为一个重要的研究课题。针对数据安全保护，首先需要明确数据安全保护的相关场景。在云边协同的环境下，主要考虑两种数据安全场景：训练与查询。

在云边协同训练场景下，可以有以下应用实例。

(1)云边协同人脸识别模型训练

对于一个机器学习模型来说，训练样本的数量会影响到最终模型的效果。而在大数据时代下，各种各样的智能设备都可以进行数据样本的采集。然而如果将采集的设备传输到云端进行模型训练则会面临一些问题：一是带宽与延迟的消耗;二是数据保存在云端则会有严重的隐私泄露隐患。

在这种场景下，云边协同进行模型的训练则是一个很好的选择。得益于边缘端的数据收集能力，最终训练出来的模型的泛化性能会更好。其中边缘端负责数据的收集以及部分的模型训练，云端负责将边缘端的模型更新聚合并且发送回边缘端。而传统的人脸识别模型训练通常是先收集人脸数据，然后对人脸数据进行标注，同时在中心服务器进行人脸识别模型训练，最后将训练得到的模型部署到边缘端。

在上述训练过程中，需要由数据收集边缘端收集数据，同时与中心服务器进行直接的数据交互，而直接的数据交互势必导致隐私的泄露问题。相比于传统的人脸识别模型训练，云边协同下的人脸识别模型训练(见图1)不需要将人脸数据上传至中心服务器，而这防止了某种程度的隐私泄露问题，然而云边协同下的人脸识别模型训练仍然面临着许多问题，例如训练数据的标注问题以及如何更好地进行分布式训练，这些问题都需要进一步研究与解决。

图1　云边协同人脸模型训练

(2)云边协同推荐系统

云边协同下的推荐系统训练利用边缘端收集的数据在边缘端本地进行训练，同时将模型的更新信息上传至云端进行模型的整合，本地的模型训练避免了用户的行为习惯、浏览数据等信息被上传至云边，减少了隐私泄露的可能。而传统的推荐系统的实现，则需要服务提供商(例如淘宝、微博等)主动采集用户的浏览数据、浏览偏好、搜索数据等信息，从而进行推荐模型的训练，最后根据训练的模型来对用户进行有针对的推荐。而这种数据收集不可避免的会产生安全隐私问题。尽管以云边协同的方式进行推荐系统的相关训练可以在某种程度上避免服务商在云端收集用户的浏览记录等隐私数据，以达成数据安全保护的目标，但是该方法仍然面临着一些问题需要解决，例如边缘端设备的性能制约、云边通信的带宽制约等，而这些问题都需要更进一步的研究。

(3)传统能源行业下的云边协同数据处理

云边协同技术不仅仅可以应用于上述的大数据场景，对于传统的能源行业来说，它涉及的各种设备相对复杂，边缘端传感器较多，若是将收集数据全部发送至云端，则会面临较大的带宽压力，因此转型难度较大。而传统行业下的数据处理往往比较依赖于人工，这也给传统行业的转型带来了困难。接下来以石油行业为例，简述石油行业下云边协同的相关场景以及数据安全问题。不同于传统的人工录入等方法，在云边协同的环境下，针对石油开采，可以将传感器、各种开采设备等收集到的信息进行整合并且发送到具有简单数据处理能力的边缘端进行数据的自动化录入、数据预处理、数据实时分析等操作，然后将处理之后的数据发送到云端进行更完全的数据分析以及决策，最后将决策结果发送回边缘端指导石油的开采等操作，如图2所示：

图2 云边协同下的石油开采

相比于传统的石油开采方法，云边协同下的数据处理大幅度提高了数据处理的效率，并且减少了决策所用的时间。尽管如此，云边协同下的数据处理仍有一定的隐私泄露风险，在上述场景中，尽管边缘端承担了一定的数据分析操作，减轻了带宽以及云端的压力，但是数据的更进一步分析仍需要云端的参与，因此在数据传输或者云端分析的过程中仍然有隐私泄露的风险。

在云边协同查询场景下，有以下应用实例：

(1)云边协同人脸支付

随着“刷脸付”时代的到来，人脸识别的精度已经到达了可以进行商用的程度。受限于边缘端支付设备的计算能力与存储能力，不可能完全将人脸识别模型部署于边缘端进行人脸识别，因此“刷脸付”必须要通过云边协同的方式来实现，如图3所示。其中边缘端负责用户人脸数据的捕获以及预处理，以减少对网络带宽的负荷。云端负责人脸识别以及支付服务的相关逻辑。在上述人脸支付场景下，边缘、云端、数据传输过程中都可能会出现隐私泄露的问题，例如边缘端设备有可能会被破解成为恶意的边缘端等，因此需要使用相应的隐私保护技术来防止隐私的泄露。

图3　云边协同人脸支付

(2)云边协同智慧交通系统

随着私家车越来越多，更多的车流量带来的是对交通系统更大的压力。当前的智慧交通的一个研究方向是自动驾驶，然而自动驾驶受限于复杂的路况以及车辆的计算能力等因素，不可能在现阶段进行大规模的部署。而另一个研究方向则是利用道路上的各种摄像头传感器等设备进行数据的收集并且将它们上传到边缘端进行简单的数据分析以及决策，同时在云端进行总体统筹以及数据分析，以实现云边协同下的智慧交通系统。例如通过摄像头收集信息并且利用机器学习算法来智能判别道路交通违法行为，以实现效率上的提升。然而借助摄像头、传感器等设备收集的道路交通信息往往也有可能泄露道路行人的隐私信息，而这对智慧交通的发展带来了挑战。

关于作者：

韩锐，北京理工大学特别研究员，博士生导师。专注于研究面向典型负载(机器学习、深度学习、互联网服务)的云计算系统优化，在 TPDS、TC、TKDE、TSC等领域顶级(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上发表超过40篇论文，Google学术引用1000 余次。

刘驰，北京理工大学计算机学院副院长，教授，博士生导师。智能信息技术北京市重点实验室主任，国家优秀青年科学基金获得者，国家重点研发计划首席科学家，中国电子学会会士，英国工程技术学会会士，英国计算机学会会士。

本文摘编自《云边协同大数据：技术与应用》，经出版方授权发布。(ISBN：9787111701002)转载请保留文章出处。