数据中心灾备/双活方案交流• 数据中心容灾目标的发展• 数据中心容灾/双活需求分析及设计关注点• 典型应用场景分析• 数据中心容灾/双活技术方案• 客户案例分享•SHARE78国际标准•1992年国际标准 SHARE78的定义，灾难恢复解决⽅方案可根据以下的主要⽅方⾯面所达到的程度⽽而分为七级，即从低到⾼高有七种不同层次的灾难恢复解决⽅方案。
•企业可以根据数据的重要性以及需要恢复的速度和程度，来设计选择并实现灾难恢复计划。
信息安全技术 信息系统灾难恢复规范中关于恢复等级的参考值中国⼈人民银⾏行《银⾏行业信息系统灾难恢复管理规范》（JR/T0044-2008）：•短时间中断对国家、外部机构和社会产⽣生重⼤大影响或影响单位关键业务功能并造成重⼤大经济损失的系统：RTO（恢复时间⺫⽬目标）<6⼩小时，RPO（恢复点⺫⽬目标）<15分钟；•短时间中断会影响单位部分关键业务功能并造成较⼤大经济损失的系统：RTO<24⼩小时，RPO<120分钟；•短时间中断会影响单位⾮非关键业务功能并造成较⼤大⼀一定经济损失的系统：RTO<7天。
企业数据中心容灾目标的发展趋势 跨地域的分布式虚拟化数据中心，延伸传统灾备概念数据中心互联方案关注点• 跨地域的集群，当发生系统切换时，保持对外服务网络地址不变，相对于接入用户透明，缩短恢复时间（RTO ） • 集群系统的心跳状态同步，需要通过二层网络• 核心数据通过存储网络（SAN ）延展，实现同步数据复制或存储跨地域集群集群应用部署的需要：§▪ Oracle Extended RAC §▪ IBM HACMP§▪ Vmware Cluster (Local) §▪ Microsoft MSCS §▪ ….二层网络延展的关注点：§▪ 错误域的隔离与控制 §▪ 避免环路 §▪ 控制广播风暴 §▪ 多点接入§▪ 延展链路稳定性影响 §▪ 扩展性和快速收敛• 跨地域的集群，当发生系统切换时，保持对外服务网络地址不变，相对于接入用户透明，缩短恢复时间（RTO）• 核心数据通过存储网络（SAN）延展，实现同步数据复制或存储跨地域集群（RPO=0）故障！核心业务应用核心业务应用• 生产站点的数据通过磁盘复制的方式拷⻉贝到灾备中心，同城两中心光纤距离大多在100公里以内，通常采用DWDM做Native FC Extension，复制方式采用同步复制，满足数量RPO=0的需求。
• 生产站点的系统和灾备站点的系统组成跨地域的集群，此环境大多为支持数据库的同城灾备，通常为Active/Standby模式，跨地域的集群需要可靠的网络连接提供集群的心跳保证，同时在发生灾备切换后，可以保持对外服务地址不变，相对于接入用户来说是透明的。
• 集群软件负责对整个灾备环境的管理，完成灾难发生时系统的自动切换• 典型的方案示例：IBM AIX PowerHA / DS8000 Metro Mirror，EMC SRDF，HDS TrueCopyCisco-VMware WithEMC & NetApp Validated Design &Certification for Virtualised WorkloadMobility• 多个物理中心网络虚拟化整合成逻辑的统一网络数据中心 1数据中心 2数据中心 3OTV虚拟化感知虚拟化感知• 支持计算资源在数据中心之间灵活部署和自由流动§▪ 支持多种传输网络，传统企业广域网即可满足 §▪ 内置了故障边界保护，无须手工配置，如• 生成树过滤、广播过滤、ARP 广播过滤等等§▪ 每site 完全独立• 实现FHRP 终结；未知帧广播终结§▪ 带宽优化，如• 支持站点间的组播，减少多余复制§▪ 内置多归能力，故障切换平滑，无须复杂配置 §▪ 无生成树，内置Loop 保护 §▪ 可扩展性高• 自动完成动态封装，无须手工建立链接 • Sites, VLANs, MAC 扩展余地大§▪ 设置、管理、维护极为简单• 最多5个命令即完成配置 • 接近即插即用§▪ 最适合企业环境使用，主备DC 、多活DC 都可使用South Data CenterNorth Data CenterFault DomainFault DomainFault DomainFault DomainOTVOnly 5 CLI commandsOTV 特点存储系统存储系统PortChannel 跨两路运营商线路Cisco ONS 15454Cisco ONS 15454• 在使用DWDM 连接时，可以使两条ISL 捆绑的PortChannel 穿过两条DWDM 链路，从而有效的防止链路的抖动对业务的影响• 思科的存储交换机（MDS ）对不同运营商的光纤长度差异有更好的适应性生产中心 同城灾备中心运营商1光纤线路运营商2光纤线路同步数据复制接入访问路径优化挑战：• 多个数据中心包含相同的网段• 路由对服务器的主动迁移或被动切换无知 • 流量可能送到了业务不存在的地方主中心备份中心用户接入访问流量DCI LAN ExtensionHypervisor Hypervisor解决方案：§▪ 基于现网IP路由1. Route Health Injection§▪ 基于域名解析2. DNS§▪ 基于下一代IP路由3. LISPLayer 3 Core IntranetISP AISP BAccessAggAccessAggDC ADC BVLAN APublic NetworkProbe to 10.1.1.100 FailedIS 10.1.1.100 OK?144.254.100.0/24Backup for Data Center A144.254.100.0/25 & 144.254.100.128/25EEM or RHI can be used to get very granularLayer 3 Core IntranetISP AISP BAccessAggAggDC ADC BVLAN APublic NetworkProbe to 10.1.1.100 is OKIS 10.1.1.100 OK?RHI10.1.1.1 HSRP Group 1144.254.100.0/24Backup for Data Center A144.254.100.0/25 & 144.254.100.128/25EEM or RHI can be used to get very granular144.254.100.100/32 is advertised into L3 using RHI 10.1.1.1 HSRP Group 1VLAN ALayer 3 CoreIntranetISP AISP BAccessAggAccessDC ADC B144.254.1.100 KAL-AP Change IP144.254.200.100GS SK A L -AP o n V I P 144.254.1.100SNAT144.254.200.100SNATLocation ID/Separation Protocol (LISP)优势:• 满足虚拟机迁移额负载分担• 满足网络扩展和多租户的虚拟化要求Cisco NX-OS: Delivering Location Independence with OTV and LISPAvailable NOW特点:• IP 地址的灵活 • 自动部署和发现• IPv4/ IPv6 支持和封装IP address and session move withVMLISP 技术可以精确定位虚机或物理机在迁移中的准确位置IP address A IP address ALayer 3 CoreIntranetISP AISP BAccessAggAccessAggDC ADC BVLAN APublic NetworkPrefix Route Locator 10.10.10.1 A, B 10.10.10.2A, B……10.10.10.5 C, D 10.10.10.6C, DIngress Tunnel IP_DA= AIP_DA = 10.10.10.1C, D ABDecap3DCEncap2IP_DA = 10.10.10.1IP_DA 10.10.10.11IP_DA= DIP_DA = 10.10.10.1Decap3IP_DA = 10.10.10.1• Extended VLAN typically has associated HSRP group• Only one HSRP router active, with all servers pointing to HSRP VIP as default gateway • Result: sub-optimal routingHSRP ActiveHSRPStandbyHSRPListenHSRPListenHSRP HellosARP forHSRP VIPARPreplyHSRP Active HSRPStandbyARP forHSRP VIPARPreplyFilter HSRP• Filter FHRP with combination of VACL or PACL• Result: Still have one HSRP group with one VIP, but now have active router at each site for optimal first-hop routingHSRP Active HSRP StandbyHSRP Hellos HSRP HellosHA cluster Node BLayer 3 Core IntranetISP AISP BHA cluster Node AVLAN B VLAN CAccessAggAccessAggPrivate Network Active HSRP Cluster VIP = 10.1.1.100 Preempt Default GW = 10.1.1.1Node ADC ADC BVLAN APublic NetworkL2 Links (GE or 10GE) L3 Links (GE or 10GE)Standby HSRPActive HSRPStandby HSRP HSRP FilteringHSRP Filtering ü✓ 不对称流向 §▪ 不涉及状态 §▪ 流量不大双活数据中心网关的设计手工切换 RHI路由 DNS方式 LISP 切换速度 分钟 秒 分钟 秒增加设备 不需要 增加负载均衡器 DNS服务器、全局站点选择器负载均衡器LISP可扩展性多中心，多服务器较低 中 高 高分配方式 静态连接，用户交易随机发送 只能在中心间平均分配可根据数据中心负载，用户距离分配自动检测自动切换适用场景 灾备 灾备、虚拟化 灾备、双活、虚拟化 灾备、双活、虚拟化TOR POD EOR POD TOR POD EOR POD 一级骨干网 DC1 DC2 v 每个数据中心部署两台热备的防火墙，两对防火墙独立运行 v 此模式下如何解决双活模式下v 异步流量的问题是最大难题数据中心双活安全架构部署 Fabric Path/VPCOTVOTVOTVFabric Path/VPCOTVOTV一级骨干网 DC1 DC2 ASA Cluster Control LinkData Link• 解决数据中心双活模式下，防火墙的部署难题，顺应数据中心网络建设趋势 • 高可用性:实现故障的毫秒级切换 • 简化配置和运维管理 Service Profile: HR-App1 Network: HR-VLAN Network QoS: HighMAC: 08:00:69:02:01:FC-E WWN: 5080020000075740-3 BIOS: Version 1.03 Boot Order: SAN, LANOSApp Firmware NetworkService Profile: HR-App1 Network: HR-VLAN Network QoS: HighMAC: 08:00:69:02:01:FC-E WWN: 5080020000075740-3 BIOS: Version 1.03 Boot Order: SAN, LANOSApp Firmware Network• 明确双活数据中心的目标，确定架构，分步实施• 数据的双活/复制方案选择，数据中心互联提供灵活支持• 双活数据中心互联技术• 局域网延展Ø S TP 隔离Ø 多点接入，提高可用性Ø 防止环路机制和广播风暴控制Ø 扩展性和快速收敛Ø 管理的便捷• 存储网络延展Ø 同步方式的距离限制Ø S AN延展的Buffer CreditØ S AN延展路径的高可用性（跨板卡Port Channel）• 接入路径优化• 网络服务和安全控制动态、可横向扩展的拓扑§▪ NG Fabric提供灵活的拓扑§▪ 推荐的拓扑形态——节点小型化、分布扁平化（“胖POD”）动态平滑横向扩展：Pay as You Grow节点分布式、小型化：更细颗粒度的扩展高可用、高性能、低延迟简化管理External Network应用层数据层Web层QoSServiceFilterQoSServiceFilterQoSServiceFilterACI控制器L/B应用数据F/WL/BWEB2HYPERVISORHYPERVISOR HYPERVISOR集中的部署模式，具备⼤大规模扩展的能⼒力；⽀支持应⽤用接⼊入灵活性: 做到任意应⽤用任意位置部署应用配置文件 • 思科提供完整的基础架构平台（计算、网络、存储）• 思科可以提供编排工具（UCSD）和企业⻔门户（PSC）• 思科的ACI解决方案可以完美融入多种虚拟化解决方案，提供SDN的支持：• VMWare• Microsoft Hyper-V• OpenStack主中心支行 分行 网点 村镇银行外联 网银外联网银DWDM 4x10GE,4x1GE 电信1G 广电1G 电信光纤 联通光纤 电信 联通 电信 联通 100 M 10 M 100 M 10 M 第三方 机构 第三方 机构 SDH/MSTP 主线路 SDH/MSTP 备份线路 一类网汇聚二类网汇聚一类网汇聚二类网汇聚营运商 静备份电路 2M 10M 同城中心WEB 服务器 APP 服务器 DB 服务器 DB 服务器 APP 服务器 WEB 服务器 SLB SLB SLB VPLEX ASACluster外联AS SP切换 ASACluster 主中心支行 分行 网点 村镇银行广域网线路接入点切换外联 网银外联网银DWDM 4x10GE,4x1GE 电信1G 广电1G 电信光纤 联通光纤 电信 联通 电信 联通 100 M 10 M 100 M 10 M 第三方 机构 第三方 机构 SDH/MSTP 主线路 SDH/MSTP 备份线路 一类网汇聚二类网汇聚一类网汇聚二类网汇聚营运商 静备份电路 2M 10M 同城中心WEB 服务器 APP 服务器 DB 服务器 DB 服务器 APP 服务器 WEB 服务器 SLB SLB SLB VPLEX ASACluster 主中心支行 分行 网点 村镇银行主备中心应用服务器切换外联 网银外联网银DWDM 4x10GE,4x1GE 电信1G 广电1G 电信光纤 联通光纤 电信 联通 电信 联通 100 M 10 M 100 M 10 M 第三方 机构 第三方 机构 SDH/MSTP 主线路 SDH/MSTP 备份线路 一类网汇聚二类网汇聚一类网汇聚二类网汇聚营运商 静备份电路 2M 10M 同城中心WEB 服务器 APP 服务器 DB 服务器 DB 服务器 APP 服务器 WEB 服务器 SLB SLB SLB VPLEX 。