数据仓库：过去、现在和未来

我经常接触数据仓库建设的需求，而现有的大数据系统也希望基于大数据建设数据仓库，然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求，OLTP这样的分布式数据库系统也如火如荼的发展。

在企业数据信息数据整合过程中，往往都是不同数据源放到不同的数据库系统中，没有数据仓库的规范化建设，跨部门进行数据协作，打破数据孤岛无法实现。

[[211150]]

分布式系统，帮助解决这些问题，我们真正深入了解数据价值的人都知道，建设统一的数据中心，数据仓库，整合行业数据可以进行多种维度的数据分析，数据驱动决策，帮助企业创新。目前在金融、电商、广告等行业已经大规模利用新技术取得了不菲的成绩。

今天，企业级数据分析平台发生了很大的变化。

发生什么了?

那么，对于传统的数据仓库，你有各种各样的数据来源。您正在收集、清洗和整合数据，以便您可以将其呈现在您的数据仓库中，进行统计分析、预测分析、商业智能和其他工作。

好吧，随着时间的推移，现在变得更加复杂了。

我们有云、有移动设备、社交媒体数据、机器数据、传感器数据。越来越多的数据来源，数据爆发式增长，非结构化数据、半结构化数据、结构化数据。

有大量的关于大数据介绍中，你会看到幻灯片谈论您必须处理PB级数据量，才能利用上这些新的数据分析技术。但是对我来说，这是没有抓住重点。

数据仓库真正的意义是什么?为什么企业对数据仓库支出不断增加。这是因为不是数据量和速度问题。随着发展，我们只需要增加硬件就能增加我们数据处理的规模，这才是分布式系统的强大之处。

万物互联的时代，随着数据的多样性和异质性从而增加数据分析的复杂性。我们的需求是关联和整合这些数据。但是，我们现有的数据分析工具，Hadoop或Spark并没有带来任何神器的解决方案。我们仍然在努力解决同样的问题：如何从不同的渠道获取数据、然后将他们关联起来，这样企业可以让数据说话，数据驱动决策。为了解决这些问题，我们需要依赖更多新的工具。

数据仓库的演变

利用新技术，使我们能更好的解决实际业务问题。

那么，我们来看看不同的技术，是如何帮助我们解决与数据相关的需求，为业务提供数据支撑。

OLAP场景的Hadoop解决方案，OLTP场景的NewSQL解决方案。

流水线式的数据分析

我们看到一个有趣的现象，每个公司几乎都建立了一个数据流水线，随着新数据的进入，他们利用NoSQL数据库来存储文档数据。就像是一个无线容量的数据库，拥有很好的扩展性，并且还能进行大数据量的高速查询和搜索。

我们可以看到很多大规模使用MongoDB、Hbase、cassandra数据库，还有NewSQL的发展。

随着数据多样性的出现，出现了很多新型的数据库。

新型数据分析需求

越来越高的数据分析需求和数据多样性的探索，导致了数据库系统的蓬勃发展，国产数据库也有了非常大的进步可以进入国际***的数据库会议发表论文，2017年腾讯的开源项目VLDB也发文了，而做为去IOE发起者的阿里在云端阿里云也如火如荼的发展数据库服务，比如：PolarDB、蚂蚁金服金融级数据库分布式数据库OceanBase都是黑科技级别的产品。为了在云端兼顾OLTP和OLAP的数据分析引擎，各大云厂商阿里云、腾讯云、XX云都使劲的推广各自的数据库技术，也采取与开源数据库厂商广泛合作的方式。

底层数据库系统，特别是NewSQL几大巨头也有有在长期招聘相关职位。可见目前分布式OLTP/OLAP数据库发展的势头，必然是与Cloud相结合，也只有云化才有机会大把捞金，不然开源数据库这样的生态下，底层基础软件出路在何方?

Analytic DB 的发展

我们列表 RDBMS -> MPP -> HADOOP -> NOSQL -> NEWSQL 主流的系统，根据我接触过的公司或产品来列举，个人认知有限，如未能列表全面，欢迎补充。

RDBMS

MPP

Hadoop Ecosystem

NoSQL

NewSQL

虽然NoSQL因其性能、可伸缩性与可用性而广受赞誉，但其开发与数据重构的工作量要大于SQL存储。因此，有些人开始转向了NewSQL，它将NoSQL的优势与SQL的能力结合了起来。

• OLAP场景做到***的Hadoop生态。
• OLTP场景的NewSQL数据库的发展。