数据中心分布式调度超人：DCOS—带你走进拔地而起的数据之城

作者：佚名 2019-09-23 17:36:27

企业动态

分布式 根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。

DCOS 是为整个数据中心提供分布式调度与协调功能，实现数据中心级弹性伸缩能力的软件堆栈，它将所有数据中心的资源当做一台计算机来调度。

根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。

Mesos较为成熟，2013年建立商业实体Mesosphere，Twitter、Appale等公司的大型应用通过Mesos进行管理和调度，其集群管理规模超过10万级别。

优势：

• 扩展能力强，Apple最高使用了75000个节点
• 同时采用两级调度，把任务的分配交给框架，由框架决定是否使用资源。
• 相对成熟，已经有比较多的生产环境案例和最佳实践
• 可以使用和docker容器不同的格式
• 极度灵活，支持多种框架，如Marathon、Hadoop和k8s等

劣势：平台组件涉及不同的语言：Meos(C++)，Marathon(Scala)

K8s近两年兴起，2014年由Google开源，最大集群规模为千级别，大规模集群解决方案较少。

优势：

• API设计比较精良
• Pod，Service，NameSpsave对为服务作了更好的抽象
• 一种语言，Golang

劣势：

• 比较年轻，成熟的生产环境比较少，存在比较多的BUG
• 还没有有名的大公司大规模生产实践
• 当前只支持docker容器，不支持hadoop、spark等多种框架

Docker平台以及周边生态系统包含很多工具来管理容器的生命周期。例如，Docker Command Line Interface(CLI)满足在单个主机上管理容器的需求，但是面对部署在多个主机上的容器时就无所适从了。为了超越单个容器管理，我们必须转向编排工具。容器编排工具将生命周期管理能力扩展到部署在大量机器集群上部署的复杂的、多容器工作负载。

Mesos是一种底层级、久经沙场的调度器，对于容器的编排，支持多种frameworks，已兼容任务调度平台、计费中心等多种编排框架，更适合租户自定义的需求场景。

Kubernetes引擎是自带服务发现和复制的编排工具。在满足当前docker应用编排的同时，对有状态的服务支持优于mesos，可提供一个可容错和可扩展的系统。

DCOS管理平台为租户提供不同引擎之间的相互切换，满足租户的各种应用场景。

丰富的实践积累

调研及需求分析

• 了解系统现状

• 明确业务影响范围

• 理解运营现状

• 风险评估

• 需求分析

平台集成规划与设计

• 平台架构设计

• 平台资源规划

• 业务系统部署规划

• 系统割接规划

• 系统演进规划

平台集成实施与测试

• 平台部署

• 平台能力测试

• 配合应用改造

• 联调测试

• 割接、上线

平台优化及维护

• 平台监控

• 平台性能分析评估

• 平台优化调整

• 平台维护

DCOS数据中心通过分布式调度实现数据中心级的弹性能力，某通信集团采购配置了高达300多个节点的数据中心：

• 5节点 Mesos Master Cluster

• 8节点 HAProxy Cluster

• 300+节点承载 2000+ Docker Container

所有平台组件均已容器化，跨机房部署，轻松实现 1 分钟扩展到 2000+ 容器！如此高标准规模化的基础能力不仅帮助客户出色完成小规模活动，还为其提供了更大的发挥空间，去尝试更大规模的活动和任务。

具备典型的三层架构特征，WEB 层及 APP 层基本采用分布式技术实现，具备进行 DCOS 平台应用的前提条件，DB 层采用数据库云平台 PBData。

该系统经历了某运营商双十一充值活动的全面检验，以出色的成绩完成任务，以数十倍于传统架构的能力承载了更加巨大的访问和交易数据处理压力。

除了移动业务，我们的产品同时在保险，通信运营商，银行信用卡中心等行业处理不同的业务时，表现了出色的性能能力：

为客户减少运维运营成本，减少资源消耗，帮助客户完成由于系统局限导致扩张停滞不前的业务重获新生，创造更多的价值和收益。