大数据(BigData)环境下的商业智能平台技术解析

原创
作者：马沛 2011-07-27 16:11:11

云计算

商业智能 Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理（MPP）数据库技术最先是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术，现在吸引了很多企业级用户开始尝试。

【51CTO专访报道】BigData又是一个没有规范定义的概念，不同的应用对大数据都有不同的理解。虽然我们不能现在就下结论是否大数据又开启了一个新时代，但是，近期Facebook宣布用户量目前超过了7.5亿，每天的分享的次数达到40亿。IDC预测从2009年到2020年，数据总量将增长44倍，达到35ZB(zettabyte)，并且其中80%的数据都是非结构化数据。

“仅仅是数量级上的不断刷新并不能代表就是Big Data大数据”，51CTO记者采访Informatica企业数据集成产品管理总监郑玮时，她分享道：“大数据有两个明显的特征，***，数据的属性是非结构化或者半结构化数据；第二，数据之间频繁产生交互，大规模进行数据分析，并实时与业务结合进行数据挖掘。”

[[37690]] 

Informatica企业数据集成产品管理总监郑玮

大数据的技术解构

从这两大特征可以看出，大数据是包括了交易和交互数据集在内的所有数据，无论从规模还是复杂程度上，远超出常用数据库或者商业智能技术的捕捉、管理和处理能力。一些企业已经感受到失控的数据增长对业务造成的影响，郑玮认为大数据是由三项主要技术趋势汇聚组成的：
1、大交易数据：在从 ERP 应用程序到数据仓库应用程序的在线交易处理（OLTP）与分析系统中，传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云，这一局面变得更加复杂。
2、大交互数据：这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录（CDR）、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输（Manage File Transfer）协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。
3、大数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构，例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说，难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

不久前在美国举行的2011 Hadoop论坛，5500名参会者，入场券据说在开放后8小时全部售罄。Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理（MPP）数据库技术***是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术，现在吸引了很多企业级用户开始尝试。相对于之前昂贵的大规模并行处理和海量数据分析技术，Hadoop确实能够用比较经济的、有更高性价比的方式进行大数据的部署应用。“将传统的交易数据与全新的交互数据组合起来，获得企业的洞察力和商业价值”，郑玮举例谈到：“企业可以通过社交媒体来了解客户的喜好，完善客户资料来提高目标营销的效率。”

大数据的应用平台

从业务角度来看，大数据环境中企业仍然需要数据集成、商业智能，只是它们的规模进入海量级别，同时对数据集成的基础架构要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data，郑玮认为这是全球***个专门为大数据而构建的统一数据集成平台。“这个平台的开发目标非常明确，就是以Informatica的数据集成技术为基础，帮助企业用户充分发挥大数据的业务潜力”，郑玮说：“数据集成平台上在IT 部门保持操控权的基础上，通过自助服务增强所有用户获取相关信息的能力，并且能够自适应数据服务，提供按业务需求进行调整的相关数据和可信数据，获得业务洞察力和一致性。”

应对大数据的特征，Informatica 9.1在数据集成的三个方面分别提供了创新的解决方案。首先是全新的数据仓库设备包能够与大交易数据相互连接，并且通过OLTP在线分析处理存储数据，提供对高流量的交易数据的访问速度。其次，借助与新型社交媒体的连接器与大交互数据的连接。访问如 Facebook、Twitter、LinkedIn 和其它媒体的数据源。将数据收集的范围扩大到企业所在行业的新兴价值数据集，还包括了设备和传感器、CDR、海量图像文件。

第三，利用平台的连接功能支持对海量数据的处理。让 IT 部门将不同来源的数据输入Hadoop，并对Hadoop中的数据应用、数据质量进行探查和挖掘计算。更好的将Hadoop系统内外的交互数据进行统一的管理，提供企业的洞察力。

“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务”，郑玮向我们介绍了Informatica的一个成功案例：“公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的***结合，为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。