云时代后端数据集成的挑战

作者：佚名 2022-08-25 13:30:07

云计算

云原生 云越来越多地支持更快、更全面的集成方法，包括自动化数据管道、实时数据流和集成云数据仓库和数据湖的数据湖库。

​人们对数字驱动企业的能力非常乐观。然而，即使是最精通数字技术的企业也可能发现，这种乐观情绪受到了决策过程中必不可少的数据集成挑战的影响。

即使随着云能力和工具集的兴起，企业仍在努力寻找与数据集成之间的平衡。TDWI的一项研究显示，过时的工具和技术使企业用户难以获得及时的信息。TDWI研究主管兼该研究的作者DavidStodder表示:“如果没有良好的数据集成，企业很难做出明智的决策，实现更智能的客户参与，以及享受敏捷高效的运营。数据集成技术对于企业对客户和市场需求的反应速度至关重要，但调查显示，许多企业还没有做到这一点。”

传统的ETL仍然是最常用的数据集成方法，有73%的人引用了这种方法。另外35%转向了实时复制和或更改数据捕获。只有不到五分之一(18%)的人在使用数据虚拟化或数据联合。仍然有太多的电子表格被用来试图拼凑信息。因此，57%的企业表示，其数据集成工作速度太慢，无法跟上业务优先级。

调查补充称，在向基于云的基础设施转移的过程中，人们看到了对数据集成的重视程度。大多数受访者(79%)计划扩大目前在云平台上用于商业智能和分析的数据管理。只有1%的人计划减少这种使用。Stodder指出:“许多企业正在将数据集成的重点转移到，将数据从新数据源和旧系统快速交付到云平台。”云越来越多地支持更快、更全面的集成方法，包括自动化数据管道、实时数据流和集成云数据仓库和数据湖的数据湖库。

这项调查的结果指出了一些与向云迁移相关的总体趋势:

对中心化数据集成架构有着强烈的需求。拥有单一的数据体系结构是72%的人支持的目标，他们同意中心化集成平台提供了“为管理日益多样化的数据结构、终端用户类型和业务用例提供更多选择”的机会。只有11%的人认为中心化的环境会产生更多的问题，“因为最终架构的复杂性，以及构建数据湖和或现代化数据仓库所需的工作。”

基于云的数据集成不仅仅意味着分析。Stodder指出:“对于一些企业来说，将业务应用和运营数字化转型的一部分迁移到云端，至少与分析一样重要。数字化转型通常会增加和增强数据的作用;用户和自动化功能都需要持续和及时的数据来驱动更明智的决策。数据集成必须是敏捷的，以满足日常运营数据需求，以及数据科学和分析需求。”

一些组织仍然更喜欢在本地进行分析。当涉及到关键数据资产时，安全性和可用性仍然是首要考虑的问题。因此，Stodder表示，许多高管担心云提供商平台遭到黑客攻击、未经授权的访问和潜在的服务中断，尽管这些平台显示出越来越可靠的安全性和可用性。如果这些相关组织使用云，他们通常更喜欢私有云的安排。

很多组织都对云技术做出了重大承诺，以为分析是最重要的推动力。在这些受访者中，五分之四(80%)拥有云数据仓库，65%拥有云数据湖。近五分之三(59%)预计，其基于云的数据管理将在未来12个月内显着增长。​