当前位置:文档之家› 存储高可用项目投标技术方案模板V1.0

存储高可用项目投标技术方案模板V1.0

XXX项目投标技术文档一、XXX项目技术方案1.1 XXX项目存储高可用技术实现要求根据XXX项目招标要求,应用系统数据容灾采用存储高可用方式来实现。

技术路线采用基于开放式SAN管理平台和数据安全保护软件系统上,通过功能强大的管理平台,可集中化、简单化管理网络上的数据存储设备,实现存储管理与存储数据冗余高可用。

1、技术线路1)、遵循标准传输协议,实现IP/FC网络环境的智能化数据管理在设计技术方案时, 根据IP/FC、SAN/NAS的技术特点,结合本项目的主要建设内容,技术路线将按照以下原则进行设计与实施,具体如下:(1)、开放型。

此项目采用开放式,应用服务器可以是各种主要的操作系统,如Windows、Linux、Solaris、HP Unix、AIX。

应用服务器通过标准IP和光纤网络协议与存储服务器通讯。

消除了硬件设备间的壁垒,真正实现资源共享,均衡消耗。

(2)、先进性。

采用开放式的数据管理网络,实现了数据资源的集中管理、集中分配,消除了硬件设备间的壁垒。

(3)、可靠性。

由于本项目拟解决的问题是数据的存储管理。

对数据的可靠性保障是本技术方案的另一重要考虑。

可靠性考虑将体现在数据介质的排外性管理和网络数据传输可靠性保障技术上。

(4)、易操作性。

本技术方案在用户界面设计上也将充分考虑到易于操作性,简化系统管理,为系统维护和升级提供方便。

为此,我们的软件系统管理界面基于Windows操作系统平台开发。

但数据资源可以提供给网络上各应用服务器Windows或非Windows的主要操作平台使用。

(5)、高性能。

本技术方案充分考虑网络数据管理系统的性能,也即数据在网络上传递速率。

我们将开发功能强大的缓存区技术来提高网络存储性能。

(6)、安全性。

系统提供如下安全性服务:访问控制、数据源身份认证、数据包加密、有限的业务流管理等。

基于以上设计原则的考虑,为了实现实用化,产业化的高性能、灵活、高效的管理系统;本方案采用分层、模块化设计方法,系统分为应用层和内核层。

应用层是为用户提供对原有数据设备进行迁移管理,传统数据迁移解决方案或者会受到服务器可扩展性限制的影响,或者影响应用,造成停机,对企业的业务运营造成巨大影响。

因此本项目一个技术难点在于如何解决传统数据迁移的这两大弊端,轻松透明地在异构环境之间移植数据,同时确保服务器和应用程序仍能持续运行,无需停机。

网络数据资源管理程序GUI是应用层的一部分,是用户操作界面。

实现人与计算机的管理、监测交互。

网络存储管理软件系统将在Windows2003、Windows2008平台上管理异构的数据资源设备,包括不同厂商的产品。

内核层是存储网关与数据资源、存储网关与应用服务器的连接核心。

内核层将数据资源与网络上的应用服务器连接起来,将数据资源分配给应用服务器,使得应用服务器可以像使用本地磁盘一样使用存储网关提供的磁盘空间。

为了实现网络数据的转换,完成数据读写。

所有这一切将通过一系列的协议转换来完成,其中包括iSCSI协议、TCP/IP协议、FC协议、SCSI协议等。

内核层嵌入到操作系统的核心层之间,应用层和内核层之间通过WMI和WIN32数据交换接口进行数据、指令交换。

2)、采用存储高可用技术和优选路径数据并发技术,实现数据的连续性存储高可用技术可以保证数据读写回路中任何一单点故障时数据的实时切换,为实现这一目的,必须保证数据的同步性和切换的及时性;同时,需要解决数据传输过程中的延时所引起的数据丢失可能性;及故障修复后的数据再同步等技术问题;并且,多点之间的数据镜像也逐渐成为市场热点,如何实现并同步各存储点间的数据,及合理规划切换策略,都是多点虚拟化存储网关需解决的技术问题。

我们在解决这些技术问题上有了突破性的进展。

2、关键技术(1)、数据镜像技术数据镜像可以实现异构环境下的数据同步,数据镜像不同于主机镜像(Host-based Mirroring)及阵列复制技术(Array-based Replication),它独立于主机与数据资源,实现高效、零宕机、低成本的实时业务支撑。

数据镜像与多路径软件(MPIO – Multi Path IO)、集群软件(Cluster)结合可实现路径冗余(Failover/Failback)及负载均衡(Load Balance),最大限度延长系统在线运行时间,提高系统性能。

数据镜像通过两台虚拟化存储网关建立一组数据同步关系。

数据写入时,一个数据镜像模块在向一台数据磁盘设备写入数据的同时,向以iSCSI或FC连接的另一台数据磁盘设备上的镜像资源写入数据,另一个数据镜像模块接收数据后,完成物理地址向虚拟地址的转换,将数据写入物理存储资源,只有两台数据磁盘设备都完成数据向物理存储资源的写入后,返回IO写入完成指令。

数据读写发生故障时,数据镜像模块将记录故障期间,发生数据变化的数据块地址,故障排除后,通过基于日志的增量数据同步,恢复数据一致性。

数据镜像资源中的每一个数据卷都可以映射给应用系统,配合主机端多路径代理软件和应用集群软件,实现故障状态下的读写路径实时切换,保证业务系统的持续、稳定运行。

多路径代理软件的主要功能,包括:路径切换和负载均衡;当数据卷以多条路径映射给应用端时,多路径管理软件可以将通过多个通道映射的同一资源绑定为一个物理设备供应用访问,并且,多路径管理软件自动侦测可用路径,传递IO。

当多条路径同时可用时,多路径代理软件通过多条路径传递IO,提高性能。

当可用路径发生故障时,多路径代理软件自动侦测新的可用路径,并且,将IO重定向到可用路径,完成IO传递。

(2)、运行原理实现虚拟化存储网关的基本功能效果,是在分属两台虚拟化存储网关的两个逻辑卷中同时写入数据。

两个逻辑卷通过主机端MPIO驱动软件合并为统一虚拟设备,从而实现应用透明的在线故障切换。

正常工作时,主机端应用产生的I/O请求,以SCSI-3指令发送到MPIO所提供的虚拟设备。

MPIO驱动将指令转发到Primary虚拟化存储网关。

Primary虚拟化存储网关接收指令后,再将指令发送给自身所管理的存储设备,同时通过虚拟化存储网关间相互映射通道,将指令同步发送给Secondary虚拟化存储网关。

待Primary虚拟化存储网关的自身存储设备和Secondary虚拟化存储网关都正确执行并返回确认,Primary虚拟化存储网关才向主机端发送执行成功的返回确认。

Primary和Secondary两端的I/O操作完全是在同一操作回环中同步执行,从而保证每一个被成功执行的I/O操作,都在两端得到确认。

在任何一端没有返回确认信息之前,应用主机都不会得到操作成功的确认。

故障状态当Secondary虚拟化存储网关或其所连接的存储设备故障时,Primary虚拟化存储网关会通过心跳监测得知故障状态,并关闭同步操作,以保证所有I/O请求能够被及时处理,不受任何影响。

故障排除恢复上线后,两端数据内容已经不一致,因此Primary会标记同步关系为“待修复”状态,并由Primary发起,对Secondary进行逐字节对比修复。

在修复未完成之前,Secondary中的数据不能被主机访问。

直到所有数据均一致后,才将同步关系状态恢复为正常,并允许应用服务器访问。

当Primary虚拟化存储网关或其所连接的存储设备故障时,MPIO驱动将活动路径透明切换到Secondary虚拟化存储网关。

Secondary虚拟化存储网关接收并开始处理I/O请求,同时将自己更改为Primary身份。

变换身份后的虚拟化存储网关接管原Primary的所有任务职责,处理同步关系状态。

当故障设备恢复上线后,以Secondary身份接入。

数据同步关系处理和数据恢复过程与前述过程相同。

当Secondary虚拟化存储网关连接应用服务器链路故障时,所有数据同步机制与正常工作时无异。

只在应用服务器端的MPIO状态中可以查看到链路故障,并禁止MPIO切换,但Primary和Secondary两端数据仍然保持完整一致。

当Primary端主机链路故障时,MPIO切换I/O路径,同时Secondary与Primary身份互换,而所有数据同步机制与正常工作时完全相同。

虚拟化存储网关负责响应主机I/O请求,Secondary虚拟化存储网关拒绝所有I/O请求。

数据修复状态由上可知,虚拟化存储网关或数据设备出现故障离线后,Primary与Secondary两端数据不一致。

此时Primary虚拟化存储网关负责响应主机I/O请求,待Secondary恢复上线后,Primary对其进行逐字节数据修复。

在修复完成前,Secondary虚拟化存储网关被标记为待修复状态,期间拒绝所有主机I/O请求。

通讯误码与纠错机制在物理通讯层面,系统中所有SCSI-3指令都封装在FCP协议帧中,经由光纤通道传输。

FCP协议栈共5层,其中FCP-1层中将8bit待传输信号转换为含校验码的10bit信号,再由FCP-0层进行物理传输。

经过8bit/10bit编解码过程,可以过滤掉在光纤链路传输过程中的通讯误码。

此机制为FCP协议标准内容,详见协议制定机构官方网站或相关文件。

在SCSI-3指令层面,SCSI指令自身包含有冗余循环校验机制,即CRC(Cyclic Redundant Check)校验码。

操作系统、设备驱动和存储设备均使用CRC校验码进行指令自身检查和纠错。

以SCSI-3指令进行交互的双方,均会使用CRC机制保证每一个指令的完整性和有效性。

当某端接收到CRC错误的SCSI指令时,会放弃该指令,并要求对方重新发送指令。

该机制自1998年起成为SCSI协议标准,详见协议制定机构官方网站或相关文件。

通讯误码与纠错机制在物理通讯层面,系统中所有SCSI-3指令都封装在FCP协议帧中,经由光纤通道传输。

FCP协议栈共5层,其中FCP-1层中将8bit待传输信号转换为含校验码的10bit信号,再由FCP-0层进行物理传输。

经过8bit/10bit编解码过程,可以过滤掉在光纤链路传输过程中的通讯误码。

此机制为FCP协议标准内容,详见协议制定机构官方网站或相关文件。

在SCSI-3指令层面,SCSI指令自身包含有冗余循环校验机制,即CRC(Cyclic Redundant Check)校验码。

操作系统、设备驱动和存储设备均使用CRC校验码进行指令自身检查和纠错。

以SCSI-3指令进行交互的双方,均会使用CRC机制保证每一个指令的完整性和有效性。

当某端接收到CRC错误的SCSI指令时,会放弃该指令,并要求对方重新发送指令。

该机制自1998年起成为SCSI协议标准,详见协议制定机构官方网站或相关文件。

1.2 解决方案(本节内容仅做参考)根据XXX项目招标要求,为业务应用架构建存储高可用部署网络拓扑结构如下图所示:(以上拓扑图仅做参考)在XXX用户数据中心机房重新构建业务系统数据冗余安全平台,根据招标要求采用两台信核存储网关SC8220以及一套镜像存储组成,构建全冗余存储FC-SAN生产环境。

相关主题