第七批大数据批处理平台与分布式分析型数据库测试观察

作者：ZL 2018-12-27 00:10:25

企业动态

分布式

 　　2018年12月13日，由中国信息通信研究院、中国通信标准化协会主办，TC601大数据技术标准推进委员会承办的“2018数据资产管理大会”在京召开。会上，中国通信标准化协会常务副秘书长代晓慧和中国信息通信研究院党委副书记乔发民，共同为通过第七批分布式批处理平台基础能力/性能和分析型数据库基础能力/性能测评的15家企业颁发证书。

　　大数据行业风向标，测试规模屡创新高

　　经过4年的发展，DCA大数据产品能力测评，已经成为国内权威的评测体系，成为厂商产品研发和用户采购选型的风向标。目前，已进行过的评测中，性能评测的最大测试数据集达100TB，数据规模全球领先;分布式批处理平台基础能力测试集群规模最大达到10000节点，由阿里云完成;性能测试集群规模最大达到300节点，其中华为通过了300个物理机节点的性能评测，阿里云通过300个云服务节点的性能评测，新华三通过了200个物理机节点的性能评测。

　　评测项目覆盖广泛，评测服务可靠权威

　　同时，分布式批处理平台基础能力评测囊括可用性、运维管理、兼容性、功能、安全、多租户、易用性、扩展性共九大类测试项;分析型数据库基础能力评测囊括功能、运维、安全、扩展性、可用性、兼容性共六大类测试项;分布式批处理平台性能评测包含SQL负载、NoSQL负载、机器学习三大项;分析型数据库性能评测包含SQL负载、混合负载、压力测试、稳定性测试四大项。各品类评测项目覆盖维度广泛全面，均为业内最权威最可靠的专业评测。

　　深度观察评测结果，发掘差异研判趋势

　　在2018年6月到2018年11月期间，国双科技、航天恒星、腾讯云、南威、新华三、广州汇智、华宇、中兴、浪潮、宝信、数梦工厂、阿里云、航天信息、达博科技、百度共15家企业的18个产品参与了第七批分布式批处理平台基础能力/性能和分析型数据库基础能力/性能评测。从评测整体情况中能够得到以下的一些观察。

　　在分布式批处理平台基础能力方面，产品已经成熟稳定，总体来看71%的产品基于HDP和CDH的开源版本进行二次开发，其余基于开源社区版或者完全自研。与此同时，容器化、支持AI和对大规模集群的支持是分布式批处理平台的主要趋势。在分析型数据库基础能力方面，产品的架构和功能差别较大，其中一种是在开源数据库的基础上进行封装和二次开发;一种是将SQL引擎嫁接于某种存储库之上;此外还有完全自研的产品。而功能的差异点也主要体现在SQL的兼容、运维管理、扩展性等方面。在分布式批处理平台性能方面，相较上半年的第六批测试基本持平，在SQL测试中最优成绩和中位数有小幅下降，HBase测试成绩总体接近于上一批。在分析型数据库性能方面，国双科技以优异的成绩成为本批次唯一通过了MPP性能评测的企业。

 备注：MPP，大规模并行处理（Massively Parallel Processing），是多个处理器处理同一程序的不同部分时该程序的协调过程，工作的各处理器运用自身的操作系统和内存。