第十二章海量存储系统设计以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。

以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。

12.1 海量数据存储系统架构方案考虑到海量存储系统是IT 构架的核心模块，这里存储网络架构采用双Fabric 网络结构，这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。

下面是海量存储系统的双Fabric 网络结构图：图12-1 双光纤通道结构其中网络核心采用director 级别的核心光纤通道交换机1 台（端口数>=128），通过在其内部划分虚拟SAN 分别构成两个独立的fabric；为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个HBA 连接到不同的Fabric 网络中，而且存储设备（磁盘阵列和磁带库）也是同时接入两个fabric，这样构成了一个无单点故障的网络系统。

双Fabric 存储网络设计要点和优势：∙主机和存储设备的冗余连接，整体提高系统的可靠性∙主机和存储设备的双路连接，工作在Active-Active 模式，整体提高系统的性能∙双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断∙双网络结构设计，核心-边缘体系架构，方便未来网络的扩充∙交换机具有很强的向下兼容性，即可兼容1G 的交换机，又可兼容1G 的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率∙可做LAN-Free 备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度∙有利于系统的在线维护和扩展，而不影响系统的正常运行∙采用硬件实现的网络安全性管理，保证数据的安全性与外部存储网络的互联方案外部存储网络的接入是为了更好的提供基于数据复制（异步或同步）的容灾服务。

本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即：FCIP 接入方案DWDM 接入方案SDH 接入方案在100Km 以内的连接上这三种接入方案的特点如下：表12-1 外部网络存储通道比较无论是内网还是外网及互联网存储网络，这里在外部接入采用同样的技术和拓扑结构，只是由于内网的数据量较少，采用端口数少的SAN 路由器，SAN 路由器的数量也应当适当减少。

具体拓扑结构如下图所示：图12-2 SAN 及扩展IP 网络连接注：为了清晰明了的原则，这里将服务器和局域网的连接省略。

如图12-2，FCIP 接入方案将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到局域网的千兆交换机上；这样就可以通过SAN 路由器的FCIP 功能将FC 协议转换为IP 协议，通过IP 网络与远端的某部门计算中心的SAN 路由器互联，在通过该路由器的协议转换将FC 协议传输到该部门的SAN 网络中，从而将容灾中心和该部门的存储网络互联，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图，DWDM 接入方案将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到DWDM 设备上；这样就可以通过DWDM 设备的波分复用功能将多条FC 通信，通过裸光纤传输到远端的某部门计算中心的DWDM 设备，通过它的解复用功能，再通过SAN 路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图，SDH 接入方案与DWDM 方案类似，将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到SDH 设备上；这样就可以利用FC over SDH 技术，通过SDH 网络将数据传输到远端的某部门计算中心的SDH 设备，进而再通过SAN 路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

这里之所以采用SAN 路由器，主要是在不同的fabric 间提供路由服务功能。

路由服务功能正是可以将不同的Fabric 网络逻辑地连接在一起，在不同的Fabric 网络上共享存储资源，这一功能可以充分利用分离Fabric 的种种好处，提供误隔离和方便管理的能力。

路由服务可以隔离SCN 和RSCN 等功能。

如在一个Fabric 中产生的RSCN，可以通过路由服务隔离，不会传到另外一个网络中，可以避免由于RSCN 造成的Fabric Reconfiguration；另外，也可以隔离由于设备原因，造成主机之间的相互影响，提高系统的运行效率。

对于远程连接网络，这一点尤其重要。

方案中将不同应用的数据备份到容灾中心的磁带库之中，而又不影响两个系统的相对独立，所以采用SAN 路由器将不同的Fabric 网络互连。

连接到SAN 路由器的Fabric 被称为边缘Fabric，由于SAN 路由器可以有效隔离不同Fabric 网络之间的相互干扰，这就允许用户建立更大规模的SAN 网络，确保系统具有更为强大的扩展能力。

通过路由服务，每个边缘Fabric 都保留自己独立的Fabric 服务：名称服务器、分区数据库、路由表、域ID 空间，等等。

这就是说，假如一个Fabric 有一个域ID 1 交换机，另一个Fabric 也有一个域ID 1 交换机，但没有该多协议路由器，这些Fabric 就不会合并，除非这些冲突得到解决。

在生产环境中，解决这些冲突是一个非常耗时和危险的过程。

有了多协议路由器，这些冲突就成了无关的问题。

在SAN 路由器平台上，其他Fabric 通过路由功能与路由器相连接。

这可以防止WAN链路上的故障转化为影响整个容灾中心SAN 或某部门计算中心SAN 的事故。

这个优点很重要，因为一般的远距离连接链路(裸光纤/DWDM/SDH/IP)的都有一定的不稳定性。

一条不稳定的远程连接链路可能会干扰数据中心的SAN 应用，但是路由器可以将这些干扰与数据中心的Fabric 隔离开。

12.1.1 磁盘阵列存储设施海量存储的核心对象是数据，因此数据的存储设备是海量存储系统的核心设备。

如前所述，采用SAN 网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成存储池。

本处描述海量存储系统基于磁盘的存储实现。

根据对该海量存储系统的需的分析，以及根据“按需扩展”的原则，这里初步设定海量存储系统的存储池容量50T。

该容量可以基本满足未来一段时间内的需要，随着容灾业务的发展，更多的容量可以通过扩展更多的存储磁盘阵列来实现。

根据海量存储系统服务用户数量众多，数据访问IO 频繁的特点，选择的磁盘阵列应该具有如下特点：1.应该选择性能较好的光纤磁盘阵列，保证良好的读写性能和可靠性。

2.磁盘容量应该尽可能的大。

考虑到主流磁盘阵列的容量、经济型、以及磁盘阵列的集中管理的便利性，尽可能采用大容量配置的磁盘阵列机柜。

目前建议采用磁盘阵列的最大容量大约为30T 的产品。

3.磁盘阵列应该附带有强大的磁盘管理软件，实现磁盘阵列的分区、访问控制、容量扩展等功能。

4.存储设备支持广泛的服务器平台。

光纤磁盘阵列应该支持目前所有流行的主流UNIX 和NT/2000、Linux 操作系统和服务器，并且应该允许尽可能夺得服务器同时连接到光纤磁盘阵列上。

5.海量的扩展能力。

可以仅仅通过增加磁盘，就达实现容量的扩展。

应该支持不同容量的磁盘混合共存在同一盘阵内，为用户今后容量的扩展打下基础。

在实际应用时，应该留出富裕的盘柜位置，以便在同一盘柜中较方便地实现扩展6.具备强大的数据复制功能。

光纤磁盘阵列应该支持快速磁盘拷贝、远程容灾等先进功能，为将来功能的进一步扩展打下基础。

7.磁盘阵列支持支持多种RAID 处理，和保留Hot Spare 硬盘的功能。

关于磁盘存储池的设计实现，以下是一些考虑：1.为了实现海量存储系统内网应用容灾的安全性，海量存储系统内网的数据存储设备将和其他数据存储设备分开。

根据内网数据的大小，可以选择容量小一些的磁盘阵列，或者减少磁盘阵列柜的数量，但存储设施的架构基本相同。

2.为了便于管理，建议先期采用同一厂家和型号的产品。

3.建议先不考虑对存储池做虚拟存储管理。

因为虚拟存储会影响数据存储的性能，其优势在于管理众多异构的存储盘柜。

可以在将来容量快速增长之后，考虑虚拟存储管理技术的应用。

4.为了便于充分使用，每个磁盘阵列需要分成不同的卷。

为了实现不同数据的安全，可以将不同的卷加入到不同的SAN 网络的“分区”中，实现数据卷的逻辑隔离。

5.考虑到中心需要管理的数据卷较多，可能需要对用户卷信息进行管理，如果磁盘阵列附带软件没有设这一功能，可以通过磁盘阵列管理软件提供的API 进行开发。

以上磁盘存储池的设计，没有考虑为特殊用户提供的磁盘阵列数据镜像（该方案在后面的章节描述）服务存储能力。

该阵列中的数据，主要是通过远程备份、数据文件复制、数据库复制等服务软件，为用户保存的数据。

有些部门已经具备某些某种型号的磁盘阵列，如果实现磁盘阵列级的数据复制和容灾，往往需要海量存储系统提供同构的磁盘阵列。

在这种情况下，本海量存储系统可能需要根据具体方案提供相对应的磁盘阵列。

对这种海量存储系统需求，事先采购大量的磁盘阵列是不经济的，也是没有必要的。

因此，对这种需求，应该在海量存储系统的场地和网络设施基础上，设计专门的方案，来实施实现。

在本方案设计中，仅仅作为一种扩展考虑，不作为当前实施实现的一部分，也不纳入预算。

根据对用户数据量的分析估算，建议海量存储系统一期购置的存储设施为：1.内网磁盘阵列。

容量为10T，包括机柜，机头，磁盘以及相应高级功能和管理软件。

2.外网磁盘阵列。

容量为30T，包括机柜，机头，磁盘以及相应高级功能和管理软件。

3.存储管理服务器，中端的PC 服务器即可。

图12 -3 海量存储系统扩展12.1.2 磁带存储设施数据备份是海量存储系统的核心业务，因此数据备份最终存储设备是海量存储系统的核心设备之一。

如前所述，采用SAN 网络，可以将海量存储系统存储的数据实现集中存储，实现集中存储的存储设备形成综合存储池。

本处描述海量存储系统基于磁带的存储实现。

根据对海量存储系统需求的分析，以及根据“按需扩展”的原则，海量存储系统的磁带库存储容量按照100 个单位，每个单位600GB 备份量，备份周期为1 周，2 周轮换磁带，至少需要200GB 磁带600 盘，考虑到冗余和其他因素，初步设计海量存储系统的磁带库存储容量为1000 盘。

该容量可以基本满足未来一段时间内备份的需要，随着容灾业务的发展，更多的容量可以通过增加扩展柜和磁带槽位，或采用更多的磁带库来实现。