银行应用级灾备建设方案目录1项目背景及建设需求 (3)2各系统数据备份概况 (4)3灾备端应用部署规划 (5)4灾备网络通信系统 (7)5各业务系统应用级部署工作计划 (8)6各业务系统应用部署工作分解 (9)6.1系统部署 (9)6.1.1AIX平台 (9)6.1.2虚拟机平台 (9)6.2FTP环境构建 (10)6.3系统验证 (11)6.3.1验证前准备 (11)6.3.2单系统验证 (15)6.3.3系统集成验证 (16)7项目主要风险点 (17)1项目背景及建设需求目前，我行灾备项目已完成核心业务域和城商业务域数据级同城备份，通过两台IBM中端磁盘阵列实现了两大业务域关键数据从生产中心到灾备中心的同城复制。
其中：✧DS5100承载ESB、加密平台、图形前端数据库三个系统数据复制，未实现数整报表系统的数据复制✧DS5020承载PCSP（综合前置）、ATMP、虚拟化平台数据复制，未实现财务系统（NC）数据复制按山东省银监局相关要求：2013年三季度，需要完成国际结算、信贷、图形前端、票据、手机银行、NC、ATMP、数整报表、加密平台、综合前置、ESB等十一个重要业务系统的应用级灾备建设。
2各系统数据备份概况十一个业务系统数据存储及异地备份概况统计如下表：从上表可知，ESB、加密平台、图形前端、ATMP、综合前置（PCSP）等五个系统数据通过磁盘阵列实时复制到灾备端，数整报表、国际结算、信贷、票据、手机银行、财务系统等六个系统数据则通过每日全备、定时FTP传送至灾备端。
3灾备端应用部署规划目前，灾备中心网络链路已就绪，各业务系统应用服务器硬件已完成上架、加电测试等相关工作。
各系统部署规划如下表：系统名称系统平台数据库应用灾备端服务器配置ESB AIX6100-07 DB2 9.1 P740一台加密平台AIX6100-07 P720一台SQLServer虚拟机图形前端Windows20082008ATMP AIX5300-12 Oracle10g P720一台综合前置AIX6100-07 P720一台数整报表AIX6100-07 DB2 9.1 P740一台国际结算Windows2003 虚拟机信贷系统Windows2003 虚拟机票据系统SLES10 虚拟机手机银行SLES11 虚拟机财务系统AIX5300-12 P720一台（NC）其中：✧虚拟机平台物理服务为四台IBM 3850 X5✧图形前端数据库服务器、应用服务器均部署在虚拟机平台✧国际结算、信贷、票据、手机银行四个系统也部署在虚拟机平台上✧加密机为独立硬件✧加密平台、ATMP、PCSP、NC四个系统分别部署在4台P720小机内✧ESB、数整报表两个系统分别部署在两台P740小机内4灾备网络通信系统网络通信系统详见《我行灾备中心建设方案》。
网络拓扑示意图如下：本次应用级备份建设仅涉及到系统验证层次，不启用灾备中心网络开展实际业务切换。
系统验证时的网络使用需求及操作步骤见本文“6.3系统验证”部分。
5各业务系统应用级部署工作计划✧第一阶段：1、完成全部服务器操作系统调研2、进行系统兼容性测试a)由于原生产系统版本较低，灾备中心均配置为Power7处理器，不能支持生产系统版本，需要进行版本兼容性测试。
3、完成全部服务器操作系统安装✧第二阶段：1、协调各应用系统厂商，逐步完成除ESB外其余10个系统的数据库和应用部署2、生产端ESB升级后，完成灾备端数据库和应用部署✧第三阶段：1、依次完成国际结算、信贷、票据、手机银行、NC、数整报表FTP传输及数据恢复测试2、逐系统完成ESB、加密平台、图形前端、ATMP、综合前置灾备系统验证测试3、完成灾备端应用系统封闭切换联合测试4、操作手册整理6各业务系统应用部署工作分解6.1系统部署6.1.1AIX平台ESB、加密平台、ATMP、综合前置（PCSP）、财务系统（NC）、数整报表六个系统均安装在AIX平台内。
其中：ATMP和NC两个系统使用AIX5300-12版本，其余系统使用AIX6100-07版本。
✧时区设置：BEIST-8✧最大进程数设置：4096✧Paging Space设置：≥4GB此外，ESB、数整报表还需要配置HA。
各系统数据库、应用部署由行方技术人员及开发厂商协助完成。
6.1.2虚拟机平台1、ESX Sever在灾备端x3850上安装Vmware ESX Server、VCenter等组件；2、虚拟机在Vmware环境下依次部署图形前端服务器（Windows2008，SQLServer 2008）、图形前端APP1（Windows2008）、图形前端APP2（Windows2008）国际结算（Windows2003）、信贷（Windows2003）、票据（SLES10）、手机银行（SLES11）。
为保证部署质量，虚拟机部署过程不使用Vmware的P2V功能；需要注意各虚拟机的虚拟网卡及网络地址配置。
各系统数据库、应用部署由行方技术人员及开发厂商协助完成。
6.2FTP环境构建本工作阶段中，数整报表、国际结算、信贷、票据、手机银行、财务系统等六个系统数据通过每日全备、定时FTP传送至灾备端。
其中：数整报表全备数据在每日批处理完成后触发TSM实现备份，其余系统由值班员定时备份。
为便于操作和管理，避免未来的系统验证工作影响备份数据FTP传送，建议在灾备端架设专用FTP服务器，统一实现备份数据的上传下载。
各系统不同时间的备份数据文件采用相同文件名，允许当日备份数据文件覆盖前日文件。
FTP服务器IP地址、客户端用户账号（分生产端上传用户账号和灾备端下载用户账号）、FTP服务器磁盘空间大小由行方统一分配管理，备份数据文件命名规则由行方确定。
考虑到数整报表备份数据量巨大，为避免资源征用，保证备份数据传输效率，建议FTP服务器使用具有Qos保证的专用IP通道。
使用过程中，建议分时、顺次执行各系统备份数据上传，数据上传顺序及时间窗口由行方确定。
6.3系统验证6.3.1验证前准备考虑到我行灾备端各系统使用与生产端相同的IP地址，在执行灾备端系统验证前，必须确保不出现IP地址冲突问题。
具体方法如下：1、单系统验证：（以ATMP为例）数据中心：（1）需要物理断开该系统与接入交换机的连接线路或手工将接入交换机连接ATMP端口关闭；（如图1-1）本地支行外地分行图1-1数据中心与灾备中心：（2）将数据中心接入交换机与灾备中心接入交换机二层通信建立（如图1-2），此阶段需检查线路连接情况避免环路产生；本地支行外地分行图1-2灾备中心：（3）将灾备中心ATMP系统与灾备中心接入交换机进行连接（如图1-3）。
本地支行外地分行图1-32、多系统验证：（已ESB、加密平台、图形前端、ATMP为例）数据中心：（1）需要物理断开该系统与接入交换机的连接线路或手工将接入交换机连接ATMP、ESB\加密平台、图形前端端口关闭；（如图2-1）本地支行外地分行图2-1（2）将数据中心接入交换机与灾备中心接入交换机二层通信建立（如图2-2），由于生产网段与联盟网段不属于同一段IP地址，故此时需将广域网链路进去区分，不同IP地址连接至不同广域网交换机。
此阶段需检查线路连接情况避免环路产生；本地支行外地分行图2-2灾备中心：（3）广域网交换机与生产接入交换机、联盟接入交换机进行互联，将ATMP系统接入生产交换机；ESB、加密平台、图形前端接入联盟接入交换机。
本地支行外地分行图2-36.3.2单系统验证1、基于备份/恢复的系统验证对于数整报表、国际结算、信贷、票据、手机银行、财务系统等六个系统，可按照FTP下载、数据恢复、启动数据库、启动应用的顺序执行。
以虚拟机方式部署的应用，验证前需要确保ESX物理服务器所在的接入交换机上联链路物理断开。
数据恢复、数据库启停、应用启停操作由行方或应用开发商支持人员负责。
2、基于磁盘阵列复制的系统数据验证根据我行城商业务域的业务依赖关系，ESB、密码平台、图形前端三个应用位于DS5100上的数据属同一个写一致性组，三个业务系统的验证工作需要一起进行。
ATMP、综合前置（PCSP）两个系统数据位于DS5020上，卷组相互独立，系统验证可分别执行。
由于DS5100和DS5020上均采购了FlashCopy软件授权，本次验证灾备端各应用服务器将通过挂载快照卷进行，避免复制关系断开、解除等操作带来验证后生产端数据重新执行初始复制的情况。
数据恢复、数据库启停、应用启停操作由行方或应用开发商支持人员负责。
3、单系统切换网络环境验证为保证未来行方的单系统切换需求，需要行方协调一条准备生产中心至灾备中心的独立IP专线备用或复用现两条WDM线路。
如申请专线，该专线平时在生产端和灾备端均不做任何连接。
切换验证时，选定的待验证业务系统，将该系统灾备端服务器下线，同时将该系统接入交换机上联链路替换为专线，生产端接入核心交换机相应端口。
调整两端网络参数，网络可达即验证成功。
6.3.3系统集成验证为验证各应用间数据交互效果，根据行方要求实施系统集成验证。
集成验证期间，需要断开灾备中心对外的全部网络连接。
各业务系统按本文“6.3.3系统集成验证”要点操作完成系统拉起，由行方科技信息部及业务部门人员验证数据及系统的可用性。
7项目主要风险点由于应用及系统验证均使用可丢弃的数据执行，应用部署及验证过程基本不会对生产系统产生影响。
项目主要执行风险集中在以下两方面：1、六个系统备份数据FTP传输安排本阶段，FTP传输是一项日常工作，一要考虑在规定的时间窗口内完成全部系统备份数据的FTP传输，二要避免验证期间数据下载过程与数据上传发生冲突。
2、灾备端单系统验证及联合测试期间的网络管理网络管理要求详见本文“6.3验证前准备”。
考虑到整个验证过程周期较长，每次验证结束后的现场恢复工作需要安排专人查验，避免因网络冲突导致生产端事故。