物联网、边缘计算和缩小分析差距

作者：Tal Doron 2019-09-17 10:45:03

物联网

边缘计算 边缘计算可以将计算能力放在数据源附近，这对提高分析能力是一个福音。但是什么阻止了企业的实施呢?

边缘计算可以将计算能力放在数据源附近，这对提高分析能力是一个福音。但是什么阻止了企业的实施呢?

在2015年至2020年的五年，物联网预计将比任何其他类别的设备增长更快。机器对机器连接的数量将增长近2.5倍，从2015年的49亿台增加到2020年的122亿台。

然而，在物联网世界中，为了减少通过网络传输的数据量，能够尽可能靠近数据源进行分析已经成为一种必要。不仅如此，如果企业的目标是为边缘计算设备(运输车辆、石油钻井平台、移动设备等)提供快速反馈，即使是有限的目标，也是至关重要的。

从数据到达响应点的那一刻起，数据的价值随着差距的增大而降低;从业务的角度来看，企业需要快速分析，并尽可能接近数据源。

如果可以减少时间跨度，从而提供实时洞察和行动，它将提供更多的价值。

转向边缘计算分析

边缘计算分析是对传统数据收集和分析方法的一种改进。在这种方法中，在传感器、网络交换机或其他设备上对数据执行自动分析计算，而不是等待数据发送回集中的数据存储，并进行分析在后台运行。

人们现在都熟悉WiFi连接设备，如洗衣机、机器人吸尘器、家用恒温器等。这些物联网设备通常会发送统计数据或状态，这是一个很好的事情，通过智能家庭集线器或显示在手机上。然而，物联网设备广泛应用只是完成物联网革命的一半，下一半是让它们运行自我诊断和统计分析，然后再将信息发送给企业进行进一步分析，从而使他们最终不仅联网而且智能。恒温器就是一个简单的例子，可以根据天气、到家时间、交通和其他信息计算预测，因此可以开始加热洗澡水，并告知真空吸尘器开始清洁，以便在主人到家之前完成。这不是通知主人，而是在源设备或边缘计算设备上做出决策和采取行动。

边缘计算分析不是将所有信息发送到一个单一的来源，然后才应用转换和分析，然后才将反馈发送到其他设备，而是一种更快、更灵活的方法。

例如，如果以电信行业为例，那就是他们曾经的运作方式。通常在中央通信枢纽中，电话接线员在那里接听用户的电话，用户不得不事先“订购”一条线路，并且只有在这条线路开通后才能通话，所有呼叫都通过一个中心位置进行路由，其分析仅在其中心枢纽中完成。

如今，人们只需在其手机设备上输入号码即可呼叫，同时所有路由都将自动且更快地完成。无需等待信息到达中心枢纽即可进行分析。现在能够以其选择的任何方式(部分或全部)随时分析信息，甚至可以在自己的设备上进行分析。

以另一个现实生活为例，例如几十架飞机在机场上空盘旋、准备起飞或降落。在几秒或几毫秒内分析数据的能力不仅仅影响航空公司收入，其真正商业价值与旅客生命息息相关。因此每一秒都很重要，每一个轻微的失误或技术问题都会产生巨大的多米诺骨牌效应。

理论上，如果在将数据发送到集中位置之前已经开始分析的初始过程，例如，在原始设备(飞机或任何其他计算机设备)上，可以根据初步见解采取行动，从而缩小洞察力和行动之间的差距。

人们可以在边缘计算设备上执行部分算法或分析功能，同时以非侵入方式将数据从边缘设备本地网格异步或同步到集线器或集中网格，在那里将执行进一步和更多的计算关于原始数据或汇总数据。

采用质量分析平台

进行实时分析就是提取率、简化工作流程、减少组件架构以降低总体拥有成本(TCO)。现在需要了解一下lambda或kappa架构，通过将所有信息视为数据流简化所有事情是很好的，但由于架构中移动部分的数量太多，仍然会带来意外的复杂性。

采用传统的分析工作流程并将繁重的工作推到内存平台上以实现收敛或数据流的统一是唯一合乎逻辑的结论。这个“NoETL”工作流程完全依赖于Kafka作为消息代理，而InsightEdge作为NoETL/流处理机制，除了所有其他Spark优势之外。

第二个阶段是polyglot分析，它定义了质量分析的能力，以便将实时数据流与存储在持久存储层上的存档数据聚合。

考虑到专家预测的到2020年全球将产生40泽字节的数据，人们需要能够处理此类数据量的平台。采用建议的组件简化架构，这两个事件流之间的相关因子是Kafka/Data Lake中的关键参与者(或者更松散的术语Data-Swamps)。

这种架构使人们不仅可以保留返回每个数据的可能性，还可以利用高端而简化的分析工具(如Spark)来运行内存计算，以实现实时和历史数据融合。

最后的想法

很明显，对数据进行实时分析已成为各行业企业的关键。实际上，为了跟上快速变化的世界和苛刻的客户体验或快速变化的法规，它变得必不可少。

然而，尽管大数据具有转型潜力，麦肯锡全球研究所(MGI)2016年发布的一份报告发现，大多数行业仍未挖掘数据和分析的全部潜力。