云计算对大数据来说是巨大的创新潜力

作者：Alex Woodie 2020-02-10 10:26:37

云计算

大数据 如果企业采用大数据技术，那么必然会使用云计算技术，因为云平台已经成为存储和处理大量数据的标准平台。随着云计算巨头致力于争夺市场领先地位，云计算服务将在2020年迅速增长。而在云中成功地驾驭这些动态信息需要采用大数据进行分析，并清理混乱信息。

 如果企业采用大数据技术，那么必然会使用云计算技术，因为云平台已经成为存储和处理大量数据的标准平台。随着云计算巨头致力于争夺市场领先地位，云计算服务将在2020年迅速增长。而在云中成功地驾驭这些动态信息需要采用大数据进行分析，并清理混乱信息。

[[314406]]

现代云计算堆栈依靠Kubernetes进行容器编排。预计2020年将在Kubernetes上启用大数据和人工智能工作负载方面取得进展，而Alluxio公司创始人兼首席技术官 Lioyuan将其称之为“Kubernetifying”分析堆栈。

Lioyuan说，“虽然容器和Kubernetes在无状态应用程序(如Web服务器和自包含数据库)中表现特别出色，但在高级分析和人工智能方面，我们还没有看到大量的容器使用。到2020年，我们将看到人工智能和分析工作负载在Kubernetes上变得更加主流。‘Kubernetifying’分析堆栈将意味着通过将数据从远程数据仓库移动到K8s集群以获得更紧密的数据位置，从而解决数据共享和弹性问题。”

Information Builders公司两位副总裁Eric Raab和Kabir Choudry表示，目前，云原生分析应用程序数量庞大，并且由于这一原因，云计算将在2020年至关重要。

Raab和Choudry说：“如今使用商业智能和分析工具的组织分为三类：当前在云中运营工作负载的组织、将工作负载迁移到云中的组织，以及计划将工作负载迁移到云中的组织。虽然他们过去可能因为担心自己平台的架构是否设计用于集成和利用云生态系统而受到阻碍，但现在有一些经过验证的解决方案是专门为基于云计算的运营而构建的。2020年将看到更多的企业将工作负载迁移到云平台，利用云原生解决方案的可用性、可扩展性和灵活性。”

Teradata公司云计算营销总监Brian Wood预测，企业将在所有新分析工作负载的部署中采用云优先策略。

他说：“预计IT部门将默认使用公共云，以支持任何业务计划，而不仅仅是现有基础设施的容量扩展。与公共云供应商签订的“或者使用，或者失去”批量购买协议将促使企业IT部门盲目地选择云部署位置而不是解决方案适合性，这让他们的领导感到遗憾。实现短期预算目标的狂热将胜过深思熟虑的规划和战略投资的审慎智慧。”

公共云已经得到了大多数媒体的关注。但Cloudian公司首席营销官Jon Toor预测，到2020年，私有云将重新出现。

Toor说，“拥有大规模存储需求(如医疗保健、科学研究、媒体和娱乐业)的企业在管理容量密集型工作负载(可达到数十PB)方面面临独特的挑战。私有云通过提供公共云的规模和灵活性好处，以及在现场存储的性能、访问、安全和控制优势来应对这些挑战。”

云计算的简单性和灵活性是一大优势。但是，基于云计算的实用程序的定价并不适合所有工作负载。Splice Machine公司首席执行官Monte Zweben说，云计算当前的数字化转型计划为DX 2.0。

他说：“云计算之所以盛行，是因为很多用户认为可以节省成本。一些急于迁移到云平台的企业完成了第一阶段项目，并意识到他们拥有与之前运行的应用程序相同的应用程序，这些应用程序不会利用新的数据源来让他们使用人工智能。事实上，他们的运营支出实际上已经增加了，因为运营商节省的成本被一直在运行应用程序的云计算资源的成本所淹没，而这些资源在内部部署之前已实现资本化。”

Quest Software公司研发团队的软件工程高级经理Yinghua Qin表示，混合计算的兴起意味着传统的数据中心将消失。

他说：“在未来几年中，随着云计算服务、物联网和其他创新限制了传统数据中心所能提供的优势，我们可以预见传统数据中心将会消亡。企业将需要根据业务需求而不是物理位置来定位计算工作负载，因此，企业将开始移动到混合云，以便提供更灵活的基础设施。”

随着企业寻求结合本地资源和基于云计算资源的方式，混合环境正在增长。Ensono公司公共云总经理Sean Roberts指出，弄清楚如何管理云计算和本地资源的混合并不是一件容易的事，但是新兴的管理平台将有所帮助。

Roberts说：“主要的云计算运营商开始意识到他们不能拥有所有的工作负载，大多数公司将采用多云策略。因此，在竞争中开辟控制管理平台这条新战线。例如微软公司推出其Azure Arc技术，这套技术旨在将Azure服务和管理引入任何基础设施，从而使微软云计算客户端能够跨AWS和Google Cloud的云平台管理资源。”

Sazzala Reddy说。公共云在大部分人看来是相似的，这将使云平台更加难以区分。作为回应，云计算将在本地部署。

Reddy说：“不可知论者将占据优势。一些云计算供应商意识到，许多企业客户还没有准备好完全迁移到云平台。很多企业表示希望采用云计算服务，但是对于一些企业来说，要做出这种转变仍然是一个挑战。作为响应，云计算供应商将发布本地产品，这些产品可为大型企业提供迁移到云平台的缓慢迁移的本地经验，例如AWS Outposts。但是这都是暂时的，因为Outposts的目标是为它们的特定云平台提供便捷的桥梁。”

AWS Redshift、Snowflake和Google BigQuery等云计算数据仓库正在快速增长。但是，这种发展势头会在2020年持续吗? Dremio公司联合创始人兼首席执行官Tomer Shiran对此表示怀疑。

Shiran说，“鉴于传统的本地数据仓库所带来的巨大成本和复杂性，新一代云原生企业数据仓库的出现不足为奇。但是精明的企业已经发现，云计算数据仓库只是对传统体系结构的更好实现，因此，他们避免绕道而行，而是直接迁移到围绕云计算数据湖构建的下一代体系结构。”

Shiran说，在这种新架构中，数据不会被移动或复制，没有数据仓库，也没有关联的ETL、多维数据集或其他解决方法。他继续说，“我们预测，到2020年，全球75%的产品将投入生产或在云计算数据湖中进行试点，并将在数据科学、数据管道、商业智能和交互式/临时的多个用例中使用多个优秀引擎分析。”

但是Sigma Computing公司联合创始人兼首席执行官Rob Woollen完全没有看到云数据仓库的增长速度下降。实际上，他认为云计算数据仓库(CDW)继续受到关注。

Woollen说：“云计算数据仓库(CDW)的发展有很多原因。可扩展性、灵活性、更低的成本和连接性，现在很多人都看到云中的数据仓库比本地系统更安全。他们的理由是，因为云计算数据仓库提供商的整个业务模型都依赖于数据安全和加密，所以他们可能比你做得更好。这些公司在安全技术上投入巨资，并将整个部门投入到保护企业的数据。云计算数据仓库(CDW)可以减轻合规性负担。通过将所有数据存储在一个地方，企业不必处理搜索各种离散的业务系统和数据存储以定位相关数据的复杂性。”

Kubernetes是一项关键技术，可实现云计算堆栈的大部分灵活性。Unravel Data公司首席执行官Kunal Agarwal认为Kubernetes的发展趋势不会很快减弱。

Agarwal说，“Kubernetes最近超过了Docker，成为最受关注的容器技术，在未来，每种数据技术都将在Kubernetes上运行。我们可能不会在2020年实现这一目标，但是随着越来越多的主要供应商在其旗舰平台上建立基础，Kubernetes将继续被采用。还有一些问题需要解决，例如持久性存储问题，但目前正在通过BlueK8等举措解决这些问题。整个大数据社区都支持Kubernetes，并确保了其持续的统治地位。”

Neo4j公司首席执行官兼联合创始人Emil Eifrem说，云计算和开源的交集为开发人员提供了发展的沃土。

Eifrem说：“最具优势的技术公司将是那些拥有B2D(企业对开发人员)、开发人员/实践者主导的方法和交付SaaS产品的公司，这些企业随时准备支持实践者走向云计算。这些公司往往是开源软件(OSS)公司，随着时间的推移，他们与开发社区建立了信任，了解开发人员不断变化的需求，而且精通经典的企业软件销售活动。而拥有SaaS服务的开源软件(OSS)公司完全有能力抢占整个市场，无论是在内部还是在云端，都能获得大量的交易。”

戴尔技术公司首席运营官Jeff Clarke说，新兴的企业计算平台是公共云和本地资源的结合。

Clarke说：“公共云和私有云可以共存。由混合云架构支持的多云IT战略将在确保组织具有更好的数据管理和可见性的同时发挥关键作用，同时还确保其数据保持可访问性和安全性，但是私有云将不仅仅存在于企业的核心数据中心。随着5G和边缘部署的继续推出，私有混合云将存在于边缘，以确保实时监控和管理所处数据的实时性。这意味着组织将期望更多的云计算服务提供商确保他们能够在所有环境中支持其混合云计算需求。”

Panasas公司软件架构师Curtis Anderson说，公共云可能对开发人工智能很有帮助，但采用人工智能有利于运行本地资源。

Pang说。“随着越来越多的组织为他们的人工智能计划试验更多的数据，对人工智能的安全性和道德使用将变得越来越重要。在这个领域，首要的担忧是数据泄漏，尤其是个人身份信息(PII)，新产品的想法和专有信息。这些担忧将导致更多用于人工智能创建的本地解决方案，包括数据注释和安全利用多样化用户的解决方案。”

NetApp公司战略官Atish Gude说，企业需要为边缘的崩溃做好准备。他说，“为迎接5G的广泛出现，将利用低成本传感器和成熟的人工智能应用来构建计算密集型的边缘环境，为高带宽、低延迟人工智能驱动的物联网环境奠定基础，这些环境具有巨大的创新和颠覆潜力。”