阿里巴巴通用计算平台负责人关涛：企业级大数据计算平台的演进

作者：佚名 2018-10-08 12:08:43

云计算 “计算力，联合计算，智能化和企业级服务能力，构成完整的面向企业的大数据平台，阿里巴巴用整套大数据计算能力，持续驱动数字中国。”

计算的价值绝不止于计算本身，而是带来更多的洞察和更强的驱动。

在2018杭州云栖大会主论坛上，阿里巴巴通用计算平台负责人关涛表示，“最初我们希望数字化阿里巴巴，后来，希望把数字化普惠到企业层面，现在开始数字化一个城市。”同时，他还从计算力、联合计算、智能化、企业级服务能力四个方面介绍了阿里巴巴统一大数据计算平台的探索与实践。

数字化城市背后的计算能力

MaxCompute是阿里巴巴9年前做飞天系统的三大件之分布式计算部分。9年后的今天，它已经成为可以承载EB级的数据存储能力，百PB级的单日计算能力，公共云覆盖国内外十几个国家和地区，专有云包含城市大脑在内部署了超过100+套。

ET城市大脑作为杭州城市背后的数据支撑系统，无疑是对数字和计算的一个***要求。要想做到算得起，算的快，算的准，必须有一个强大的计算平台。

从系统架构上看，MaxCompute底层包含异构的计算集群，通过统一的元数据管理和调度系统联动在一起。向上提供包括批计算、流计算、内存计算、机器学习、迭代等一系列计算能力。

计算平台：计算力是最核心的指标

2015年GraySort 竞赛中，MaxCompute用377秒完成了100TB数据排序，获得世界冠军。2016年拿下CloudSort***成绩，这表明不仅算得快，而且算得便宜。

2017年挑战TPCX-Bigbench 100TB的30个query指标，成为***个测试通过的计算引擎。2018年在同样100TB规模上，性能指标提升了一倍。另外在超小型10TB规模的指标上，性能超过其他开源竞品3倍。

“通过对计算力的持续升级，使得计算力更便宜，智能化更普惠。”

计算下推比数据上移更高效

通常用户上云，数据不会在一个系统里。对于在线服务，数据通常会在数据库里支撑前台业务，对于半结构化log和非结构化的音视图等数据通常存储在数据湖里。前端数据库的数据有非常丰富的index的支持，可以算的非常高效，后端是超大规模存储，中间是一个大数据体系，把结构化数据以列式的方式存储下来，支撑超大规模的数据计算。

但这样会面临的一个挑战就是用户如何把所有数据放在一起来算，得到一个***的结果？面对这种挑战，通常有两种解法，一种是数据上移概念，就是把所有数据上移到同一系统中，上传同步后进行计算。而此时会有三个问题，一是出现数据冗余，相当于把同样数据备份了一到两份；二是同步存在延迟，在延迟里无法进行计算；三是实时性会受到影响。
“基于此提出了联合计算的概念，我们认为计算下推比数据上移更高效。”
什么是联合计算呢？就是不需要数据同步，通过在大数据系统中的一个作业，可以联动其它系统。每一部分都依赖于当时系统***的优化，做***的决策，在这个层面上实现数据之间的联动和打通。

Auto Data Warehouse让大数据自动驾驶

五年前阿里巴巴正面对数据爆发式增长的巨大挑战，以人的理解力，无法理解这些数据之间的关系和作业之间的关系，因为它太过于复杂。数据有没有冗余？计算是不是可以复用？如果某个作业失败了，某个数据出了问题，到底影响面有多大？

所以五年前，从最基本的数据可发现开始，然后做数据血缘，找到数据间的关系，看数据冷热之间分离能力，再看数据自动优化。***，当有一张新数据表进来时，可以自动去找关联关系，这就是Auto Data Warehouse数据自动驾驶系统。这套系统在阿里巴巴内部实现了在计算优化上提升了35%，在数据冗余去重层面降低了20%的存储能力，在资源规划上，提升了超过75%的计算效率。

MaxCompute是面向企业的完整服务，不只是单一引擎

杭州城市大脑除了对系统计算力的要求之外，还包含稳定性，容灾能力，可恢复能力，以及弹性能力等。当遇到突发情况时要有预警能力和自恢复能力。所有能力总结成一个词就是“企业化的能力。” MaxCompute不止是计算引擎，而是一套完整的企业化服务。
除计算外，MaxCompute还包含账号、项目管理、数据安全、监控、金融性容灾等系统等。今年新推出了DQC数据正确性验证系统，并全新升级了DataWorks开发和调试平台，具备数据集成，作业pipline管理系统，可实现与机器学习、数据分析和BI平台的联动。

“计算力，联合计算，智能化和企业级服务能力，构成完整的面向企业的大数据平台，阿里巴巴用整套大数据计算能力，持续驱动数字中国。”