设计建设分布式存储集群，集群网络该如何规划？

作者：佚名 2018-05-08 08:57:36

存储

存储软件

网络

分布式 按照分布式存储的范式，存储系统的管理和业务分属两个网段，互相独立，互不影响，数据传输只在业务网段上进行，管理与业务通过服务器通信，无法通过网络互访。

@baimmi  中国银联股份有限公司

由于数据的机密性与敏感性，业务相互之间的隔离对于在数据中心内部非常重要。在数据中心内部，数据的访问需要受到严格控制，必须进行业务与管理的网络相互隔离。管理网段与租户网络三层互通，租户通过管理网段访问存储系统的Portal界面并下发增、删、检、查等管理指令；业务网段则负责业务数据的传输，当存储空间以卷的形式通过业务网段挂载给前端业务系统，并在此网段上提供服务。

按照分布式存储的范式，存储系统的管理和业务分属两个网段，互相独立，互不影响，数据传输只在业务网段上进行，管理与业务通过服务器通信，无法通过网络互访。

在业务网段上，规划每个服务器由两根网线分别连接到两台交换机。在管理网段上，规划每个服务器由两根网线分别连接两台交换机。通过节点级的双网卡主备以及集群级的交换机主备来提供网络高可靠性。两个网段使用独立的物理网卡进行隔离，在条件不满足的情况下使用不同VLAN隔离。

[[228530]]

依据木桶效应，一个系统的整体性能上限往往是由系统中的薄弱环节决定。当集群采用混合存储的配置时，标准的10Gbps高速网络能够满足相当规模的集群在负载均衡、数据重建时的压力；然而，当集群采用全闪存架构时，硬盘性能将大幅提升，此时标准的10Gbps网络有可能会成为系统中的短板，56 Gbps InfiniBand网络乃至更高速的100 Gbps网络，近似无阻塞通信，突破存储系统内部交换的瓶颈。在InfiniBand网络中，通信时延控制于纳秒级，计算存储信息及时传递，配合SSD的高速读写，具有可观的性能。

@刘东 东软集团

分布式存储集群在设计建设过程中，集群网络是个瓶颈。因为分布式存储对网络带宽的依赖性非常高，所有的数据交换都需要通过网络进行，所有要求具备高速和可靠的网络环境。

具体规划如下：

1、尽量采用10G网络接口，并采用光口进行连接。上行链路采用40G接口。

2、网络设备尽量做到冗余，至少配置2个万兆光口接入交换机。

3、分布式存储集群除了需要交换大量的数据外，可能还会在网络上执行虚拟机复制和同步活动，具体取决于系统中托管的虚拟机数量和有效操作数量。如果这时候只有千兆网络，会不堪重负，特别是在虚拟机重建和同步操作期间。

4、将各种流量类型（分布式存储网络、管理网络 、虚拟机迁移网络、虚拟机生产网络、）分别放在不同的 VLAN中，并使用份额作为服务质量 (QoS) 机制，以便在可能出现的争用场景中保持期望的性能级别。

5、划分不同的VLAN还可以保证分布式存储集群网络不受影响，因为分布式存储集群网络一旦发生IP地址冲突，将导致整个分布式存储集群不可用。

6、为了实现***的安全性和性能，应将分布式存储集群网络流量隔离至其自己的第 2 层网段。

7、对网卡进行绑定配置，作为可用性和冗余措施，做带宽聚合。

@Garyy 大地保险

网络路径全冗余 虚拟网络层通过采用多网卡绑定等技术避免单个网卡故障引发的业务中断。

网络分平面通信 系统通信平面划分为业务平面、存储平面和管理平面。为了保证各种网络平面数 据的可靠性，不同平面间采用VLAN等技术进行隔离，单个平面故障不影响其余两个平 面的正常工作。 业务平面:主要为虚拟机虚拟网卡的通信平面，对外提供业务应用。 存储平面:主要为iSCSI存储提供通信平面，并为虚拟机提供存储资源，但不直 接与虚拟机通信，而通过虚拟化平台转换。 管理平面:负责整个云计算系统的管理、业务部署、系统加载等流量的通信。 -网卡负荷分担 对于各通信平面(业务、存储、管理)均采用双网卡，双网卡采用了Bonding模 式，两网卡被绑定成逻辑上的“一块网卡”后，同步一起工作。既能对服务器的访问 流量进行负荷分担，又能保证其中一块发生故障的时候，另外的网卡立刻接管全部负 载，过程是无缝的，服务不会中断。