第1章前言. 3第2章存储基本概念. 5第1节存储设备分类. 61.1 SCSI存储设备. 71.2 SAS存储设备. 131.3 FC光纤通道存储设备. 15 1.4 ISCSI存储设备. 151.5 存储设备的融合和演变. 20 1.6 磁带存储. 201.7 应用存储. 20第2节存储网络结构. 202.1 DAS存储系统网络结构. 20 2.2 SAN存储系统网络结构. 22 2.3 NAS存储系统网络结构. 22 2.4 网络结构的融合和演变. 22第3节FC网络和FC交换机. 22 3.1 FC网络. 223.2 FC交换机设计. 22第4节接口速率和存储带宽. 22 第5节存储共享. 225.1 设备共享. 225.2 文件系统共享. 225.3 存储共享管理软件. 22第6节业务系统分类. 22第3章数据库系统存储设计. 23 第1节存储应用特点. 23第2节设计准备. 23第3节主备数据库系统设计. 23 第4节双机数据库系统设计. 23 第5节数据库备份系统设计. 23第1节非性线编辑制作系统存储应用特点. 24 第2节带宽分析. 26第3节容量分析. 26第4节小型制作网存储设计. 26第5节中型制作网存储设计. 26第6节大型制作网存储设计. 26第7节高清制作网存储设计. 26第8节媒资系统存储设计. 26第5章视频监控系统存储设计. 27第1节视频监控系统存储应用特点. 27第2节带宽分析. 27第3节容量分析. 27第4节小型视频监控系统存储设计. 27第5节中型视频监控系统存储设计. 27第6章高性能计算系统存储设计. 27第7章存储系统设计. 28第8章视频点播系统存储设计. 29第9章容灾中心存储系统设计. 30第10章数字图书馆存储系统设计31前言存储技术越来越火了。
随着网络化、信息化和数据化的发展,数据量越来越大,需要用到的存储设备的容量和数量也越来越多。
几年前,一个存储系统的容量大约为几百GB到一两个TB,而现在的系统中存储设备容量一般都在10-20TB,大型数据中心往往会采用多台存储设备,不同存储设备负担不同的业务应用系统,存储容量经常超过100TB。
“911事件”以后,为了保护重要数据不会丢失,几乎所有的大型企事业单位、跨国公司、和一些重要数据中心不仅增加了数据备份系统,还在纷纷在同城或异地建立了大型数据容灾备份及业务容灾系统。
从2006年开始,随着中国各级政府构建“和谐社会”及“平安城市”战略的实施,各大城市都在建设全方位的大型视频监控网络系统。
大量视频监控系统的设计和建立不仅使得视频网络技术、图像传输技术、运动视频编解码技术等有了最大程度的发展,同时也极促进了大容量存储系统的发展和应用。
大量现有系统需要更多的存储设备或更大的容量来存储日益增加的数据,大量的系统数据需要备份和容灾设备,大量新建设的系统需要容量更大,性能更高的存储设备。
这些需求不仅促进了存储设备的生产、研发和新技术的更新换代,同时也增加了整个社会对存储技术工程师的人力资源需求。
存储市场的火爆,存储工程师的高工资和高待遇吸引了越来越多的IT技术人员,甚至非IT技术人员转行到存储行业。
不断学习存储技术成了很多存储人自修和充电的容。
为了学到更多的技术,走上了当年学习网络技术一样的老路,购买大量高价书籍,上互联网络查找资料,翻阅众多厂商的产品技术白皮书,或缴纳高昂的学费去接受厂商的短期技术培训。
不仅耗费大量的时间,也花费了大量的金钱。
然而,与网络技术相比,存储行业发展的时间相对较短,已实施的案例不仅少而且系统结构相对简单。
书店中的书籍容大多集中在纯理论方面,很少能涉及到具体应用系统环境下的存储系统设计。
厂商出于产品宣传、市场推广和最终销售等目的,其产品资料、白皮书一般都对性能和功能有一定程度的夸大和偏离,且容基本上集中在自有产品的功能特点、参数配置、安装调试、后期维护和故障排除方面,并不具有普遍性。
而在网络上查找到资料大多容雷同,很多资料还可能因为原因做了大量地删减,容非常简单。
在这样的学习环境下,很多技术人员除了记住一堆名词概念和英文缩略语,即使能考到几个厂商所谓的认证之外,基本上并不具有实际地操作能力。
长时间学习但仍不具有存储系统设计能力和安装调试能力。
到了一个工作岗位,仍然需要很长时间才能进入工作状态。
这样的状态对于常说的存储厂商的售前或售后技术工程师来说还相对好一点,毕竟具体产品的性能特点、功能、技术参数、硬件配置和安装调试容等容相对较少,凡有一定基础的人员通过一定时间的培训后都可以很快成为一个售前或售后工程师。
但对于那些经常负责大型的、多应用类型的、结构复杂的应用系统整体设计的人员来讲,他们所面临的困难就非常的了。
本书容主要集中在存储系统结构分析,不同行业的存储网络系统的访问特点分析,存储系统设计前分析,设备选型,及安装调试时RAID组、交换机ZONE 设置等方面。
与常见技术资料相比,属于较高一级,适合于厂商和集成商中需要为客户提高整体解决方案的售前技术工程师或解决方案顾问等人员。
本书将尽量避免使用那些空泛抽象的概念和词语,通过通俗化和简单话的词语向大家介绍如何理解存储、如何去分析一个存储网络系统的结构、如何根据具体项目的需要去设计存储系统、以及如何进行存储设备选项。
词语的通俗化和简单化有助于大家更好地理解本书的容。
本书容适用于已具有一年以上存储系统实施或系统设计经验,对RAID,Fable channel、NAS、SAN、ISCSI、FC-SAN等基础概念已有较深了解的读者。
本书中关于具体设备的安装调试容较少,有兴趣的读者可以自行查阅资料。
第1章存储基本概念第1节存储介质大家都愿意学习存储技术,希望做更多与存储有关的工作,那么首先得明白存储是什么东西。
存储设备是指通过一定的存储介质,将文字、数字、图片、图像等具体数据,以及元数据、索引信息、地址信息等抽象数据进行长期保持,并可以通过RAID组校验,数据复制、备份容灾等多种方式来保证数据的安全,对外提供一定数据传输接口,方便数据交换和传递的各种设备。
存储设备的基础是存储介质。
我们目前一般所说的存储介质是指磁盘、磁带、光盘、闪存等用来存储数据的存储介质。
但这个存储介质的围只是侠义的。
广义上的存储介质是指所有能够记录数据信息,并可以长时间保存数据的设备、设施或者物体,除了磁盘、磁带、光盘和闪存等之外,还包括纸质书籍、锦帛、竹简,甚至原始时代用来记录信息的绳结、石片和壁画。
这些都是广义上的存储介质,这些介质都可以保持数据不会轻易丢失。
只不过不同时期人们可以获得的存储介质不同罢了。
同时因存储介质不同,进行信息交换和信息传递的方式和方便性也不同。
壁画上的数据容是不可变的,会随着时间的流逝而逐渐磨灭,且一般不可以用来传递和交换的。
石片、绳结、竹简、锦帛、纸质书籍等都有一定的保存期限,其传递和交换也只能通过手递手地方式。
而我们现在经常谈到的磁盘、磁带、光盘和闪存等只是侠义上的存储介质。
存储在这些存储介质上的数据理论上可以无限期地保存下去,除了传统的手递手交换外,还可以通过各种各样的网络来进行远程的快速传递和交换。
存储是数据在时间上的延续,传输是数据在空间上的位移。
与广义上或者传统上的存储介质相比,现代存储介质在数据存储和数据传输两个方面区有不可比拟的优势。
本书容主要介绍采用磁盘介质的存储系统设计,磁带介质的存储设备会有少量涉及,基本上不涉及光盘存储设备。
第2节存储分类大家对磁盘、磁带、光盘等存储介质有了初步了解之后即可以开始存储技术的学习。
然而初学存储技术的人可能会被SAN、NAS、DAS、FC、ISCSI、FC-SAN、IPSAN等这些大量的术语和英文缩略语搞得晕头转向,技术资料的确看了很多,但仍然无法清楚地知道这些概念之间根本的区别。
因为常见的资料中一般都不会对SAN、ISCSI、FC-SAN、IPSAN都多个概念进行分类,经常只是简单地放在一起来进行论述,论述的容的大多集中优缺点对比方面,但结果却是相反的,经常是越比较越糊涂。
很多初学者经常会问出这样的问题:SAN和NAS、ISCSI 存储有什么区别?SAN和NAS设备哪个更好?“如何为一个应用系统选择存储设备?实际上SAN、NAS、DAS、FC、ISCSI、FC-SAN、IP-SAN等并不是同一类别的概念。
SCSI、FC、NAS、ISCSI等概念指的是存储设备类型,DAS、NAS、SAN等指的是存储系统的网络结构。
存储设备类型是指通过采用SCSI、FC、TCP/IP,ISCSI等接口类型、数据传输协议、以及不同数据存储介质的存储设备。
常见的存储设备类型可为SCSI存储、NAS存储、FC存储、iSCSI存储和磁带存储。
存储设备类型这个概念的核心是设备,指的是由存储介质、驱动器、控制器、供电系统、冷却系统等组成的一个整体。
它独立与网络层设备和主机层设备,因此当提到存储设备类型的时候,不要涉及与存储设备连接的网络设备和主机。
区分一个存储设备的类型主要依靠存储设备对外提供的接口类型、数据传输协议、和存储介质。
比如存储设备的对外提供的接口是SCSI,按照SCSI协议传输数据的存储设备就是SCSI存储。
如果再区分存储介质,那么存储介质为SCSI 磁盘的存储被称为SCSI-SCSI存储,存储介质为SATA磁盘的存储被称为SCSI-SATA存储。
存储名称分为两个部分,前面表示存储设备接口类型及接口部分的数据传输协议,后部分表示存储介质。
同样的道理,存储设备的对外提供的接口是FC光纤通道,按照FC光纤通道协议传输数据的存储设备就是FC存储。
存储介质为FC磁盘的存储被称为FC-FC 存储。
存储介质为SATA磁盘的存储被称为FC-SATA存储。
注意:采用光纤通道协议的存储设备应该称之为FC存储或光纤通道存储,也可以简称为光纤存储,不能称之为SAN存储,SAN指的是一种存储系统的网络结构。
采用ISCSI输出协议、对外提高ISCSI接口的存储设备自然应该成为ISCSI存储,只不过ISCSI一般都采用SATA磁盘作为存储介质,所以ISCSI存储在名称上不会再细分,都通称为ISCSI。
NAS是一种特殊的存储设备类型,虽然NAS对外提供IP接口,按照IP协议进行数据传输,但NAS最终提供给主机的是一个文件系统,SCSI存储、FC存储和ISCSI等提供给主机的是一个裸的、没有文件系统的逻辑卷,且NAS本身是一个服务器+存储的结构,因此严格上讲,NAS应该能算是一种存储系统结构,而不是一个存储类型。
不过很多时候我们都把NAS的服务器+存储结构看成一个整体,这个整体又通过标准的IP传输协议来进行访问和数据传输。
因此NAS 一般都被认为是一个存储设备类型。
在本书中,NAS既是一个存储设备类型,又是一个存储系统网络结构。