大数据需要数据虚拟化

作者：James Kobielus 2013-06-25 09:18:01

云计算 在云上的大数据拥有跨越大量节点、集群和层的众多潜在功能服务层，而这些节点、集群和层很容易变得不堪重负。为了应对这些问题。首先，你应该规划一个全面的云数据虚拟化基础设施。虚拟化云分析法是新时代中的大数据典范。作为一种集成方法，它能够确保大数据的统一访问、建模、部署、优化和管理成为一种异构资源。

为了实现大数据所勾画出的美好愿景，你需要在数据层和基础设施层等基础架构中对数据进行抽象化的工作。

在云上的大数据拥有跨越大量节点、集群和层的众多潜在功能服务层，而这些节点、集群和层很容易变得不堪重负。为了应对这些问题。首先，你应该规划一个全面的云数据虚拟化基础设施。虚拟化云分析法是新时代中的大数据典范。作为一种集成方法，它能够确保大数据的统一访问、建模、部署、优化和管理成为一种异构资源。

与任何虚拟化一样，数据虚拟化是一种允许用户访问、管理和优化异构基础架构的方法，就好像它们是一种单一、且在逻辑上是统一的资源一样。这使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化。

与支持逻辑上统一的访问、查询、报告、预测分析，以及针对关系型、Hadoop、NoSQL等不同后端数据库应用的任何“SQL-虚拟化”解决方法相同，数据虚拟化的核心是抽象层。当然，数据虚拟化可能会转而依靠其他的基础设施虚拟化层，例如存储与服务器平台。在某些情况下，数据虚拟化可能会在地理上和多云环境中进行扩张。

在我们讨论的众多层中，虚拟化无疑是这些枯燥数据话题的一个缩影。但是如果你希望自己的大数据云平台能够解决以下业务需求，那么它们无疑是最基础的。这些具体的业务需求是：

■基于弹性、灵活拓扑结构的先进分析型资源

■汲取源自任何来源、格式和方案的纯消费性资源

■能够留存、聚合、处理任何动静结合信息的“延迟-灵敏”资源

■在价值链中扩展，在私有云和公有云中扩张的联合资源

■能够让你通过现有工具和应用，调整、扩展和升级后端数据平台的无缝互操作资源

是的，这是一项艰巨的任务。毫无疑问，数据虚拟化和虚拟的基础架构实践起来比说起来困难的多。此外，部署、管理和优化的工作也需要花费大量的资金。

基于云的大数据需要越来越复杂的虚拟化基础设施。对于大部分数据专业人员而言，解决这一难题就如同天文学家试图绘制出宇宙中的暗物质一样困难。他们知道这项工作既重要，但又十分的乏味和烦琐。实际上，大数据专业人员更喜欢从事Hadoop和NoSQL的研究，因为它们正在新的技术领域中闪烁着最耀眼的光芒。

随着大数据应范围的不断拓展，用户未来几乎必定要沿着虚拟化这条路前行。混合大数据云难以处理的异质性将推动用户选择这一方向。在私有云中，大数据平台融合需要一个虚拟化架构，以将新的方案与之前的投资相关联起来。然而，融合将会阻止用户持续的平台现代化与迁移尝试，妨碍用户将创新和适合的平台整合到云中，阻碍厂商的“产品-改良”循环。除非将所有的大数据方案都放到“通用的”公有云服务上，否则用户在多种组合方案中需要虚拟化公有云、私有云和混合云架构的访问。

当然，要沿着“数据-虚拟化”路线走多远，将取决于用户业务需求和大数据环境的复杂性。此外，还取决于用户对风险、复杂性和困难的承受程度。在未来，随着分析模型、规则和大数据云上汇聚的信息日益复杂，平台将成为虚拟化访问、执行和管理的核心。在这一新领域内，MapReduce将成为关键的(但并不是唯一的)开发框架。此外，MapReduce还将成为针对内联分析和交易计算的虚拟化架构的一部分。不过，目前这一虚拟化架构虽然涵盖范围更广，但是大部分仍没有被明确定义。

迄今为止，还没有人能够对这些将云与大数据世界拼接在一起的层、界面和抽象化展开进一步概述，而这也是一项摆在我们面前的艰巨任务。