Google打造新大数据系统Mesa

[[117955]]

Mesa是什么

先行发布的论文摘要可以让我们对Mesa一窥究竟：

Mesa是一个高度可扩展的分析数据仓库系统，能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求，包括近实时数据提取和查询，同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新，每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制，即使在整个数据中心故障时，也能以低延迟返回一致和可重复的查询结果。

本质上来说，Mesa是一个ACID式数据库(即，如果有人进行查询，就会得到相应数据)，速度快，规模大，可靠性强。它被设计为处理与Google广告业务有关的需求(服务内部用户，以及消费者的前端查询服务)，但也能作为一般数据仓库系统，供其他用途。

与其他产品有何区别

当然，Google早就拥有自己的数据系统，比如BigTable、Megastore、Spanner和F1。但BigTable无法提供必要的原子性;Megastore、Spanner和F1在跨区域数据上能保证一致性，却无法满足峰值更新吞吐量需求。当然，Mesa在元数据存储和维护上利用了之前的技术。

另外Google自身的Dremel，以及Facebook 与Twitter数据系统，一般只用作处理批量数据装载，而不是像 Mesa那样即时处理数据。而且，目前的商业产品或产品系统均不能用来管理跨数据中心的重复数据，这些系统也并非基于云技术，灵活性也不强。它们对动态条款和资源置换的适应性也很弱，无法处理数据负载波动。

不只是一个数据库

Mesa比较值得注意的一点是其硬件。之前的系统都使用价格昂贵的企业级硬件，但Mesa使用Google的标准云设施，均由自己设计和建立。

长期来看，Mesa不只是一个数据仓库系统。像Hadoop那样的社区也在密切关注Google的新动向，这可能会代表一波技术潮流。另外，从云计算角度看，这会加剧与亚马逊和微软云服务的竞争，进一步拉低市场价格。Google一直以高精尖技术闻名，这一次Mesa估计也会拉开其与同类公司的距离。