华为存储双活数据中心规划设计指南目录 (3)1.华为一体化双活数据中心方案概述1.1.跨中心部署架构 (4)1.2.同机房部署架构 (6) (9)2.华为一体化双活数据中心方案设计1.3.故障域设计 (10)1.4.组网设计 (11)1.4.1.管理网络 (11)1.4.2.存储层主机访问网络 (12)1.4.3.跨中心传输网络 (15)1.4.4.双活复制网络 (16)1.5.应用层设计 (16)1.5.1.数据库集群 (17)1.5.2.虚拟化集群 (19)1.6.多路径规划 (20)1.7.存储层设计 (21)1.8.仲裁设计 (22)1.华为一体化双活数据中心方案概述双活数据中心是指两个数据中心共享存储、网络以及服务器资源，两个数据中心可以同时对外提供服务，整个系统具有业务负载均衡和自动故障切换能力，能够最大限度保证业务持续运行不中断，为业务提供最高级别的业务连续性。

当客户业务需要存储同时提供SAN和NAS双活能力时，而由于业务之间存在的关联性，两者不可以完全割裂，此时我们称为SAN&NAS一体化双活。

例如：某业务由两个业务系统同时提供服务才可以提供服务，其中一个业务系统使用SAN存储，另一个业务系统使用NAS存储，此时，两者均正常运行才可以提供服务。

如果仅仅提供SAN存储双活能力，当单套存储系统故障，NAS无法访问时，将导致业务中断。

存储双活作为整个系统的核心基础架构平台，主要解决以下两个核心问题。

1.两个数据中心间数据实时同步，确保单中心存储部件故障时，零数据丢失（RPO=0）和自动切换。

为了达到这样的目标，NAS除了数据实时同步外，还要保证配置和锁的实时同步。

系统运行过程中，文件系统权限、共享等配置变更支持实时镜像，故障发生时双活自动切换后能立即使用。

2.提供可同时被两个数据中心主机访问的存储共享资源，从而实现主机应用集群的跨站点部署，保证异常情况下，应用的自动切换（RTO≈0）。

图1-1SAN&NAS一体化双活逻辑架构示意图1.1.跨中心部署架构跨中心的两套存储阵列均提供SAN和NAS存储空间，配置为双活Pair。

其中，SAN双活根据业务要求配置双活一致性组，按一致性组进行切换和仲裁；而NAS双活根据业务要求部署不同的租户，按租户粒度进行双活切换和仲裁。

SAN双活由主机层多路径负责主机到存储间具体IO下发路径的管理，推荐配置本地优先路径策略；NAS双活在主机上挂载由存储提供的文件系统网络路径，该路径同一时刻仅在其中一套存储上处于网络激活状态。

SAN和NAS双活只需要配置一台仲裁服务器即可，它们同属于一个双活域。

根据客户组网形态，主要有以下两种组网架构：IP+FC图1-2SAN&NAS一体化双活存储层部署架构示意图存储阵列间同时配置SAN双活和NAS双活时，无需单独为其中一个增值特性配置双活复制链路。

为了双活数据同步性能，同时避免不同类型链路性能差异影响业务，复制链路只能配置一种类型。

SAN&NAS一体化双活为此类组网时，双活复制链路仅需配置FC链路即可，跨中心的IP网络仅作为应用主机跨中心访问NAS存储使用。

每个控制器至少提供2个以太网端口用于主机访问NAS存储，至少提供2个FC 端口用于主机访问SAN存储，至少提供2个FC端口用于双活数据复制。

全IP图1-3SAN&NAS一体化双活存储层部署架构示意图（全IP）全IP组网架构时，SAN&NAS一体化双活跨中心部署时如图2-3所示。

SAN双活与NAS双活共用跨中心IP链路为双活复制链路，如果有其它FC交换机可以作为跨中心传输使用时，亦可单独配置FC链路为双活复制链路。

1.2.同机房部署架构数据中心内两套存储阵列均提供SAN和NAS存储空间，配置为双活Pair。

其中，SAN双活根据业务要求配置双活一致性组，按一致性组进行切换和仲裁；而NAS 双活根据业务要求部署不同的租户，按租户粒度进行双活切换和仲裁。

SAN双活由主机层多路径负责主机到存储间具体IO下发路径的管理，推荐配置全局负载均衡策略；NAS双活在主机上挂载由存储提供的文件系统网络路径，该路径同一时刻仅在其中一套存储上处于网络激活状态。

SAN和NAS双活只需要配置一台仲裁服务器即可，它们同属于一个双活域。

根据客户组网形态，主要有以下两种组网架构：IP+FC图1-4SAN&NAS一体化双活存储层部署架构示意图存储阵列间同时配置SAN双活和NAS双活时，无需单独为其中一个增值特性配置双活复制链路。

为了双活数据同步性能，同时避免不同类型链路性能差异影响业务，复制链路只能配置一种类型。

SAN&NAS一体化双活为此类组网时，双活复制链路仅需配置FC链路即可，支持阵列通过FC直连组网；IP网络仅作为应用主机访问NAS存储使用。

每个控制器至少提供2个以太网端口用于主机访问NAS存储，至少提供2个FC 端口用于主机访问SAN存储，至少提供2个FC端口用于双活数据复制。

全IP图1-5SAN&NAS一体化双活存储层部署架构示意图全IP组网架构时，SAN&NAS一体化双活在数据中心内部署时如图2-5所示。

SAN双活与NAS双活共用IP链路为双活复制链路，如果有FC端口可以作为数据传输使用时，推荐配置FC链路为双活复制链路。

需要注意的是：SAN和NAS不能使用阵列上相同的以太网端口与主机连接。

2.华为一体化双活数据中心方案设计SAN&NAS一体化双活数据中心方案为了确保用户业务连续性，需要根据业务提供相应的基础设施双活和冗余能力。

除应用层集群部署防止应用层单点故障业务中断外，还需要考虑的内容主要涉及以下几个方面：1.故障域：存在单点故障源的区域，例如电源，制冷。

2.组网：主要涉及跨中心网络，主机与阵列间业务网络，仲裁网络及端口规划。

3.应用：跨中心集群部署上的注意事项及其它要求。

4.多路径：路径策略设置建议。

5.存储：存储仲裁优先、一致性组，租户，磁盘和Pool规划建议。

6.仲裁：部署位置及IP网段规划。

2.1.故障域设计跨中心部署双活图1-6双活故障域规划图中所示黄色区域为故障域。

在相同的故障域中的所有设备，存在同时发生故障的可能性，此时业务将无法持续不中断运行。

如图3-1所示，3个故障域各自独立，不存在相同故障源。

为了避免问题发生，规划要点在于故障源的识别，常见的有：1.仲裁服务器不能与任意一个数据中心共用相同供电系统，如果无法避免，供电故障时，双活业务将中断。

2.存储复制网络与仲裁网络要充分考虑网络隔离，不能同时故障。

3.仲裁网络禁止使用VRRP主备网关配置。

4.仲裁服务器是虚拟机时，该虚拟机不能运行在该双活方案存储提供的LUN上。

仲裁服务器是物理机时，不能使用该双活方案存储提供的LUN作为SAN Boot的OS盘。

本地部署双活双活在单数据中心内部署时，由于故障域无法隔离，只能提供设备级或者机架级的可靠性。

为了尽可能提供更高的业务连续性，常见要注意的有：1.仲裁服务器是虚拟机时，该虚拟机不能运行在该双活方案存储提供的LUN上。

仲裁服务器是物理机时，不能使用该双活方案存储提供的LUN作为SAN Boot的OS盘。

2.仲裁网络禁止VRRP主备网关配置。

2.2.组网设计2.2.1.管理网络管理网络指双活方案各物理设备在设备管理时使用的网络，它的主要作用有两个：1.设备正常运行时，日志、告警上报和巡检；2.设备发生故障时，管理员登录设备进行异常状态确认和修复。

存储设备的管理网络目前除了支持进行设备管理外，还可以配置用于仲裁。

管理网络如果用于仲裁，只能两种配置方式：1.两套阵列管理端口和仲裁服务器仲裁端口使用相同网段。

2.两套阵列管理端口分别使用不同网段，且各自与仲裁服务器仲裁端口三层互通，每套阵列管理端口的网关均在各自数据中心内。

2.2.2.存储层主机访问网络使用FC交换机级联进行跨中心组网时，如果数据中心间距离超过级联光模块传输距离（博科或者华为交换机单模光模块最大支持25km），需要通过多模光模块对接波分传输设备，以支持更远的传输距离。

主要业务网络可能包括以下几种：●主机访问存储的网络。

●阵列间双活复制网络。

●主机集群心跳网络。

●主机的业务网络。

我们重点关注的是1和2两项。

3和4则是与应用集群诉求相关，由应用提供商提供部署要求：时延、距离和丢包参数等。

Oracle RAC集群其官方要求节点间时延<1ms，其它数据库集群建议与其保持一致，如有差异请以应用提供商的要求为准。

跨中心双活组网为了尽可能为业务提供最佳的业务连续性，任意一台业务主机要求与两套双活存储有全冗余交叉路径。

如果主机与跨中心存储没有配置逻辑路径，双活发生仲裁时，业务不能保证在原中心继续提供服务，最常见的如虚拟化集群，则会导致虚拟机发生跨中心的HA迁移。

图1-7业务主机与存储间网络（NAS）●每个数据中心内两台以太网交换机堆叠组网。

●主机双端口绑定，交换机上对应端口绑定。

●阵列上每个控制器上两个端口绑定（同一块卡）。

●跨中心每两台交换机间至少1条级联链路。

图1-8业务主机与存储间网络（SAN）●每个数据中心内两台FC交换机不级联，各自独立。

●主机上两个FC端口各连接本数据中心一台FC交换机。

●阵列上每个控制器上两个FC端口各连接本数据中心一台FC交换机。

●跨中心每个交换平面的交换机间至少1条级联链路。

●阵列上用于前端业务主机访问的端口不作为阵列间复制使用。

●如果SAN组网也是IP组网时，交换机与NAS共用，但是阵列用于业务主机访问的端口不能与NAS共用端口。

本地双活组网在单数据中心内部署时，与跨中心部署组网有所不同，只需要双交换机冗余部署即可。

图1-9业务主机与存储间网络（NAS）●数据中心内两台以太网交换机堆叠组网。

●主机双端口绑定，交换机上对应端口绑定。

●阵列上每个控制器上两个端口绑定（同一块卡）。

图1-10业务主机与存储间网络（SAN）●数据中心内两台FC交换机不级联，各自独立。

●主机上两个FC端口各连接一台FC交换机。

●阵列上每个控制器上两个FC端口各连接一台FC交换机。

●阵列上用于前端业务主机访问的端口不作为阵列间复制使用。

●如果SAN双活是IP组网时，交换机可以与NAS双活共用，但是阵列用于业务主机访问的端口不能与NAS共用端口。

2.2.3.跨中心传输网络近距离传输两个数据中心距离在光模块支持的范围内，且单模光纤或者裸纤数量足够时，可以使用交换机直接与对端数据中心SAN网络交换机级联，实现双活的近距离组网。

长距离传输网络波分设备使用场景：●跨中心长距离传输超过交换机上级联端口传输距离上限时（例如博科和华为FC交换机单模光模块传输距离上限25km）。

●跨中心使用裸纤连接，且裸纤数量不足以支持业务层和存储层网络跨中心级联要求时，例如，标准的双活组网，跨中心裸纤至少要求4对。