云存储项目大数据平台解决方案目录1概述 (3)1.1建设背景 (3)1.2设计范围 (3)1.3总体设计原则 (3)2云存储系统平台设计 (5)2.1项目需求 (6)2.2设计思想 (7)2.3云存储系统方案 (8)2.4系统优势和特点 (8)3系统架构 (11)3.1系统基本组成 (11)3.2系统功能描述 (12)4系统安全性设计 (19)4.1安全保障体系框架 (19)4.2云计算平台的多级信任保护 (21)4.3基于多级信任保护的访问控制 (25)4.4云平台安全审计 (28)5工作机制 (31)5.1数据写入机制 (31)5.2数据读出机制 (32)6关键技术 (32)6.1负载自动均衡技术 (32)6.2高速并发访问技术 (33)6.3高可靠性保证技术 (33)6.4高可用技术 (34)6.5低功耗存储技术 (34)6.6分布式、分级、动态存储技术 (34)7接口描述 (36)7.1POSIX通用文件系统接口访问 (36)7.2应用程序API接口调用 (37)8本地容错与诊断技术 (37)8.1 cStor高可靠性 (37)8.2 cStor数据完整性 (37)8.3 cStor快照技术 (38)9异地容灾与恢复技术 (38)9.1cStor数据备份与恢复系统功能 (38)9.2cStor异地文件恢复 (39)9.3cStor数据迁移归档 (39)1概述1.1建设背景随着银行数据集中处理的实施，银行业务运作、经营管理将越来越依赖于计算机网络系统的可靠运行。

银行所提供金融服务的连续性以及业务数据的完整性、正确性、有效性，会直接关系到银行的生产、经营与决策活动。

一旦因自然灾害、设备故障或人为因素等原因引起计算机网络系统停顿导致信息数据丢失和业务处理中断，将会给银行造成巨大的经济损失和声誉损害，受到致命的打击。

生产运行系统的灾难备份系统就显得格外重要。

我们认为，一旦实施银行数据集中，灾难备份系统应该与生产运行应用系统同步投入使用，保证银行数据集中处理系统的运行安全。

1.2设计范围本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。

1.3总体设计原则针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。

1.3.1先进性原则在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。

选择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩展。

1.3.2安全性原则数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。

同时配置安全的备份系统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的数据丢失。

在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。

1.3.3成熟性原则为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。

1.3.4开放性原则系统建设具有开放性的标准体系，提供符合POSIX标准的通用文件系统访问接口，开放的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。

遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。

充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况下，可以更换单元备件。

系统的维护和升级操作由系统管理员即可完成。

1.3.5经济性原则现有业务系统存储数据量较大，且数据的增长速度较快。

因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。

结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。

通过软件实现在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。

1.41项目建设目标建立灾难备份中心的目的是：以最合理的代价保护应用数据的完整性与安全性，在灾难发生后尽快恢复运行，减少业务停顿时间，尽可能不中断或不影响业务的正常进行，使灾难造成的损失降到最小。

即不管两个系统相离多远，当一个数据中心出现问题时，另一个数据中心就应能迅速接替运行，既要保证业务数据的完整性，又要保证关键业务的连续性。

随着商业银行的业务发展及竞争的日益加剧，国外商业银行又提出了业务连续性的要求。

这种要求的产生背景是：（1）商业银行承诺向客户提供“3A”服务（即任何时间Anytime，任何地点Anywhere，任何方式Anyways）。

由于家庭银行、企业银行、网络银行、电话银行、ATM/POS等电子银行的出现，客户不受银行终端用户的上下班时间及位置的限制，享受银行提供的金融服务。

（2）随着银行金融服务和金融市场的拓展，商业银行比较注重银行间相互联网。

这样，当客户外出时，无需携带大量现金，也无需在当地银行、外币找换店及酒店兑换外币，可直接在当地自助设备上提取当地货币，还可办理各种存取款、转帐、申请结单或支票等业务，既节省时间，又极大方便了客户。

要求银行服务具有连续性。

（３）在开放的金融市场环境下，为适应市场需求，发达国家的商业银行从注重规模效益转为重视深度效益。

注重客户关系及客户价值是变革的关键，而深度效益的内涵是对详细客户信息和市场信息的组织和分析，利用数据仓库(DATA WAREHOUSE)、数据采掘(DATA MINING)技术从业务数据中提取可供辅助决策用的信息。

数据仓库是将银行各自分散的原始数据（如主机中的帐务数据）汇集和整理成为单一的管理信息数据库、客户信息数据库，面向专题和时间组织数据，并对数据进行集成。

使用数据采掘技术从数据仓库中提取隐藏的预测性信息，为银行提供完整、及时、准确的商业决策信息，为银行经营决策人员提供辅助决策支持。

它要求原始数据具有实时性、连续可用性，并具有较好的完整性与长时间延续性。

保持业务的连续性要求灾难恢复系统实现更高的目标：除了以最合理的代价保护应用数据的完整性与安全性，在灾难发生后尽快恢复运行，减少或尽可能消除业务停顿时间外，还应做到：（1）保证业务的连续性与延续性，即保证业务数据的连续性，为银行的决策支持系统提供连续完整的基本数据；（2）缩小或取消应用系统用于批处理和数据备份（如磁带备份）的时间，保证关键业务服务24小时不中断，使应用系统的服务时间达到7X24，满足银行互联及客户的需求；2云存储系统平台设计2.1项目需求2.1.1灾难类型需求常见的银行灾难主要包括以下几个方面：（1）自然灾害：造成计算机灾难的自然灾害有：火灾、水灾、雷击、台风、地震、鼠害等。

根据有关资料，XXXX地区发生毁坏性地震的可能性不大，并且，现有生产运行中心所在地--XXXX大厦，在修建时作了抗7级以下地震的设计。

XXXX 地区附近无大江大河，不会出现洪涝。

因此对我们生产运行系统来讲，自然灾害主要是指水灾、火灾、雷击和鼠害。

（2）计算机系统故障：引起计算机系统故障的因素有下述几点：a.主机系统故障：主要指：数据库系统故障、系统软件故障、硬盘损坏、网卡故障、电源故障、应用系统缺陷、其它故障b.主机房故障：主要指：主机房电源故障、主机房通讯故障、主机房水灾、主机房火灾、主机房鼠害c.整幢楼房故障：主要指：整幢楼房电源故障、整幢楼房火灾或水灾、整幢楼房其它灾害（４）人为因素：由于应用系统缺陷、误操作、人为蓄意破坏、外来暴力事件等都将直接影响系统的安全运行。

2.1.2吞吐量需求为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。

2.1.3扩展性需求未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。

2.1.4低成本需求要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。

2.1.5可维护性需求要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB 配置管理监控平台，实现智能化管理。

2.1.6接口需求要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。

2.2设计思想采用业界成熟先进的云平台架构思想，采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，将系统控制流与数据流分离，同时使得数据在逻辑上集中、物理上分散，每台服务器同时对外提供服务，以达到多并发高吞吐量的性能要求，采用自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展，系统服务7×24小时不间断。

系统采用先进的编解码容错技术，可根据数据可靠性要求设置适当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数据容错。

2.3云存储系统方案采用业界已经成熟的cStor云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次系统云数据中心存储平台，其应用部署示意图如下图所示。

存储节点/服务节点 1存储节点/服务节点 2存储节点/服务节点 3存储节点/服务节点 ncStor云存储资源管理系统部署示意图2.4系统优势和特点cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。

该系统相比传统存储系统有如下技术优势：2.4.1高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。