从云到 Cloudlets：一种新的数据处理方法？

作者：海洋派 2022-06-09 09:38:39

云计算

分布式 在本文中，我们将探讨小云的兴起：它们是什么，它们带来的挑战，以及它们是否是一种 比我们已经习惯的云更可行的联网设备方式。

关键要点

• 越来越多的终端设备数据到云端进行处理，这越来越多的共识是资源密集、耗时且效率低下，无法由大型单体云处理。
• 将数据从每个物联网设备转移到基于云的神经网络进行语音识别根本不可行。然而，通过在这些设备和中央云之间使用间隙小云，神经网络可以开始通知即使是最小的物联网设备的操作。
• 到目前为止，cloudlets 面临的最大挑战是安全性，因为一旦数据在多个存储和处理设备上分散，安全管理它们就变得更加困难。最有效的安全措施是在数据在 cloudlet、设备和云之间移动时对其进行加密。
• 尽管 Cloudlet 模型提供了所有机会，但截至 2020 年它们仍然相当罕见。

尽管新技术一直在出现，但过去十年的总体发展方向已经很明确：从本地分布式数据处理转向云存储。

这种转变的部分原因是过去十年连接设备数量的爆炸式增长，这也需要将数据集中在一个地方进行处理和存储。

然而，现在可能正在发生一种奇怪的逆转。小型分布式云或命名法中的“小云”的日益普及 ，是对“传统”云模型局限性的隐含认识，并可能标志着数据收集、存储和处理方式的重大转变.

在本文中，我们将探讨小云的兴起：它们是什么，它们带来的挑战，以及它们是否是一种 比我们已经习惯的云更可行的联网设备方式。

超大规模与本地规模

尽管“cloudlet”这个术语仍然相对较新（并且相对晦涩），但它的核心概念并非如此。即使从云计算的早期开始，人们就认识到将大量数据发送到云进行处理 会引发带宽问题。在过去十年的大部分时间里，设备与云共享的数据量相对较少，掩盖了这个问题。

然而，现在，标准云模型的局限性变得非常明显。越来越 多的终端设备数据到云端进行处理，这越来越多的共识 是资源密集型、耗时且效率低下，无法由大型单体云处理。

相反， 一些 分析师表示，这些数据在本地处理得更好。此处理要么需要在生成这些数据的设备中进行，要么需要在设备和组织的中央云存储之间的半本地云中进行。

这就是“cloudlet”的含义：智能设备、cloudlet 和云。Cloudlet 可以被 视为一个盒子中的数据中心，其目标是通过为设备提供处理能力，从而使云更接近设备。至少有一些本地数据。

值得注意的是，这种方法与假定物联网基础设施的工作方式有很大不同。甚至在几年前，人们就认为 5G 连接将 允许 物联网设备（包括自动驾驶汽车）所需的 所有数据处理在云端执行。

然而，越来越清楚的是，这些设备的计算需求——尤其是为它们配备语音识别接口的愿望——远远超出了单片云所能处理的范围。

机遇与挑战

同时，组织和工程师都非常不愿意失去云存储和处理的所有优势。 云模型提供的额外便利和安全性是今年使用更多基于云的应用程序的公司比去年多36%的主要原因之一 。但是，希望通过将其中一些应用程序移到更靠近其数据源的位置，可以提高它们的效率。

这样做可能带来的机会可能是巨大的。目前， 使用神经网络的最大限制之一 是它们必须输入的大量数据才能有效地工作。

例如，将数据从每个物联网设备转移到基于云的神经网络进行语音识别是不可行的。然而，通过在这些设备和中央云之间使用间隙小云，神经网络可以开始通知即使是最小的物联网设备的操作。通过公共云边缘服务的边缘服务移动数据流意味着通过链接到整个国家或省份的服务区域的管道移动数据，这就是为什么使用小云传输数据可以更有效的原因。

这将产生几个连锁效应。一个，已经提到，将大大提高 在物联网设备中使用语音识别系统的能力。另一个同样重要的影响将是增强在分布式位置使用视觉 AI 系统（例如面部识别）的能力。

尽管如此，向小云的迁移也带来了一些新的挑战，涉及数据分发、存储和安全性。其中最基本的与设计小云的架构模型有关。小云模型的 基本假设 是，这些较小的分布式云可以比其较大的集中式类似物更快地处理数据。

然而，这种类型的本地化数据处理需要本地处理单元有足够的电力，这对固有的便携式物联网设备来说是一个挑战。如果必须在很长的地理距离上移动数据，这个问题就会变得更加复杂。

其次，研究小云模型可行性的研究人员面临另一个问题：保持数据同步和连贯，不仅跨多个设备，而且跨多个子云。以这种方式确保数据的一致性不仅会影响云系统本身的可靠性：对于自动驾驶汽车，这可能对其安全运行至关重要。

安全性和碎片化

然而，到目前为止，cloudlets 面临的最大挑战是安全性。迁移到云基础架构背后的主要驱动力之一是这些系统 比分布式系统更安全，因为它们允许将所有数据集中在一起并在集中式系统下进行管理以进行访问和控制。这导致云存储系统在具有安全意识的组织和个人中变得非常流行。

迁移到在小云中存储和处理数据的模型可能会破坏安全性，因为一旦数据在多个存储和处理设备中分散，安全管理它们就变得更加困难。更糟糕的是，Cloudlet 基础设施的许多拟议用途要求收集数据并将其存储在黑客可能能够物理访问的设备上。

最明显的例子是 为自动驾驶汽车提出的小云类型。例如，不难想象，这些车辆可以在小云中连接在一起，使它们能够共享有关当地交通状况的信息，而无需依赖集中式基础设施。问题在于，在这些分散的云中存储太多数据会使它们容易受到物理攻击，因为汽车比数据中心更容易获得物理访问。

cloudlet 系统安全性的第二个问题是——就其本质而言——它们是定制的、单独定制的系统。换句话说，投资间隙云并没有什么意义，只是让它在与集中式系统相同的资源密集型软件上运行。

设计定制的小云系统来处理同样定制的物联网设备的特定需求可能会使这些设备更高效，但也可能使它们不那么安全。大型、单一的云系统可能有数百名安全工程师在寻找潜在威胁：内部开发的 cloudlet 系统无法与这种级别的监督相匹敌。应用程序安全测试的最新 进展 已经解决了 cloudlet 系统中的许多安全漏洞，但仍有许多工作要做。

另一方面，有一些理由相信 Cloudlet 系统 可能 比它们的全云系统更安全。这是因为与许多云系统上的全谱数据相比，这些较小系统收集的数据本质上不那么详尽，因此价值也较低。

当然，也有可能在构建通过大量间隙设备共享数据的系统时，可以设置更多层的保护。

然而，实际上，最有效的方法是在数据在 cloudlet、设备和云之间移动时对其进行加密。实现这一点的最简单方法之一是依赖使用 L2TP 或 IKEv2 协议的虚拟专用网络，这两种协议 在协商新隧道会话时都提供了出色的安全性和可靠性。目前，无论是设备还是小云都不具备部署强加密同时保持可观性能的计算能力。

通讯

尽管 Cloudlet 模型提供了所有机会，但截至 2020 年它们仍然相当罕见。这部分是因为大规模部署这些系统所需的基础设施仍在推出。

这些要求之一可能是 5G 连接。然而，世界各地采用 5G 标准的方式可能会对 Cloudlet 模型的可行性产生重大影响。

具体来说，小云系统的主要应用之一可能是在工业（尤其是汽车）制造中，其中建筑机器人可能在小云和云的分层“金字塔”中连接在一起。

然而，在美国，5G 已在更高的 S 频段上进行了标准化，该频段也用于雷达。因此，让这些机器人使用 5G 进行通信非常困难。在实施了不同 5G 标准的其他国家/地区，使用这种额外的连接在制造中实施 cloudlet 可能更容易。

然而，同样值得注意的是，5G 也 有其自身的安全问题。目前，通过 5G 网络传输的绝大多数数据都是加密的，这是可能的，因为它只在云端进行处理和存储。Cloudlets 增加了这些系统的表面攻击区域，引发了对这些数据可能被盗或被监视的担忧。

未来

小云是否有一个可行的未来还有待观察。在许多方面，这种模型可以为网络工程师提供两全其美的方法：一种在分布式设备上部署高级功能而没有相关带宽问题的方法。另一方面，可以说，Cloudlet 模型通过尝试使这种折衷发挥作用，并没有特别好地完成任务。具体来说，小云 可能会破坏 集中式系统固有的安全性，而不会提供更多的计算能力。

这样看来，小云很可能成为未来几年的一个关键“战场”。这场战斗的一方是热衷于推动其边缘计算技术的公司，并将计算位置在数据流中的“更左端”转移到终端设备和边缘数据中心。另一方面是大型、资源充足的云存储和安全公司，他们对将计算任务保留在云中具有既得利益。

实际上，我们很可能会在未来十年内看到混合模式的出现，这将更多地出于必要而非欲望。毕竟， 今天存在的所有数据中有 90% 是在过去两年中产生的，其中 80% 是视频或图像。鉴于此，继续在设备或云中存储和处理数据根本不可行。

换句话说，需要的是一些间隙计算和存储系统，以及——最重要的是——能够以智能方式管理请求的系统。

结论

CXL（可被视为硬件实现的小云系统）背后的增长势头显示了拥有动态、可分配资源的价值，这种洞察力可能会对未来几年小云的使用方式产生巨大影响.

当然，这将代表某种逆转，因为在 1970 年代，第一个企业网络在分层大型机模型上运行，使用的系统非常类似于 cloudlets。因此，我们可能已经绕了一圈。