存储基本知识及行业分析1存储架构分析目前存储市场上,根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400等服务器,开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储。
开放系统的外挂存储分为:DAS存储(Direct-Attached Storage)和NAS存储(Network-Attached Storage)和存储区域网络(Storage Area Network)。
1.1DAS存储DAS存储已经有数十年的使用历史,随着用户数据的不断增长,其在数据读写、扩展、备份等方面的问题变得日益困扰系统管理员。
DAS存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据读写等任何操作都要占用服务器主机资源(包括CPU、系统IO等)。
DAS存储的数据量越大,对服务器硬件的依赖性和影响就越大。
DAS存储与服务器主机之间的连接通道通常采用SCSI或者USB、1394等连接,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈;同时服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。
DAS存储的共享性和扩展性很差。
每个服务器直连的JBOD只能供其独自使用。
任何形式的扩展都会造成业务系统的停机,对于7×24小时服务的关键业务系统,这是不可接受的。
并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。
1.2NAS存储网络附加存储(Network-Attached Storage,)采用网络(TCP/IP、ATM、FDDI)技术,通过网络交换机连接存储系统和服务器主机,存储设备作为网络标准件连入局域网中,本身具有文件系统,直接为服务器提供文件级存储服务。
由于NAS存储采用IT业界标准协议TCP/IP进行数据交换,不同厂商的产品(服务器、交换机、NAS存储)只要满足协议标准就能够实现互连互通,无兼容性的要求。
NAS存储特点:首先,NAS存储可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的桎梏;其次,在企业数据量飞速膨胀中,NAS存储在解决足够的存储和扩展空间的同时,还提供极高的性价比。
因此,无论是从适用性还是TCO的角度来说,NAS自然成为多数企业,尤其是大中小企业的最佳选择;1.3SAN存储存储局域网络SAN是目前最为先进的海量数据存储架构,是建立在服务器集群和存储设备之间的网络,给服务器集群提供集中式的共享的存储空间,便于管理。
SAN存储模式中,磁盘阵列只提供块级裸盘存储空间,文件系统分部在各个应用服务器上,这是SAN和NAS的最本质区别。
SAN的优点可归纳为下几点:●SAN存储系统扩展性好、升级能力强,投资保护性好。
●存储系统支持数据集中式管理,相关业务数据存储系统或全部的应用数据存储系统合并为统一的存储系统。
●采用开放式的体系结构,支持多种系统平台的接入,亦即实现跨平台操作。
●提供包括存储介质、接口设备及连接链路的冗余支持。
●向网络客户端和应用服务器提供高效可靠的数据存储服务时,同时对应用系统的运行效率和网络的速度不会产生明显影响。
1.3.1FC SANSAN存储模式总根据网络介质不同,分为FC SAN和IP SAN。
在SAN存储技术应用之初,SAN基本上就是指的FC SAN。
开放的、标准化的光纤通道技术使得FC SAN非常灵活。
FC SAN克服了传统上与SCSI 相连的线缆限制,极大地拓展了服务器和存储之间的距离,从而增加了更多连接的可能性。
改进的扩展性还简化了服务器的部署和升级,保护了原有硬件设备的投资。
(1)通用性。
FC SAN是在iSCSI标准产生的前4年出现的存储区域网架构,带有相当程度的应用催生特点。
FC SAN大多应用在性能要求较高的金融、电信等领域,随着Brocade等厂家低端光纤交换机价格的下调,FC SAN也开始应用于低端。
(2)高效性。
目前光纤通道普遍是4Gb的,后续会出现8Gb光纤,在整个系统性能方面十分优越,用户访问时非常快捷。
(3)灵活性。
光纤网络存储的组建也非常的灵活,只要有通光纤的地方,都可以将其应用的服务器通过光纤进行连接,做到真正的数据大集中。
(4)稳定性。
由于光纤性能较高,在其运行过程中稳定性较好。
但是,FC SAN也存在很多不足之处。
FC SAN的传输距离通常不超过50公里。
这样容易形成存储孤岛;虽然光纤通道(Fibre Channel)技术有统一的标准,但各家厂商却有不同的解释;互操作性仍是FC SAN实施过程中存在的主要问题;SAN本身缺乏标准,在管理上更是如此;FC SAN的存储设备价格仍居高不下,建设成本过高。
FC SAN的缺点:(1)成本高。
光纤交换机、HBA光纤卡、光纤硬盘等设备都较昂贵,这是FC SAN的最大缺点。
(2)管理难度大。
FC SAN的另一个问题是它与应用网络的异构性,这种异构性使得占市场大多数的中低端客户,因面对相对陌生、复杂的FC技术望而却步。
一般来说,FC SAN 多半需要特定的工具软件来操作管理,所以需要对人员进行一定时间的教育训练,而且费用不低。
(3)容易形成存储孤岛。
由于FC SAN受它的物理机理决定,它无法使存储设备随它在Internet上运行,从而无法满足应用前端对存储数据"无时不有、无处不在"的要求。
FC SAN的物理覆盖有限,不超过50公里,这样容易形成存储孤岛。
(4)设备的兼容性问题。
由于标准的不统一,各个FC SAN产品的生产厂家所生产的设备之间不兼容。
1.3.2IP SANiSCSI(Internet SCSI,互联网小型计算机系统接口)是一种在Internet协议网络上,特别是以太网上进行数据块传输的标准。
它是由多家存储厂商发起的,并且得到了IP存储技术拥护者的大力支持。
iSCSI是一个供硬件设备使用的,可以在IP协议上运行的SCSI指令集。
简单地说,iSCSI是可以在IP网络上运行的SCSI协议。
iSCSI存储技术实际上是针对FC SAN存储技术的缺点进行改进,它主要具有以下几方面明显的特征及优势。
在IP SAN中,千兆以太网交换机代替了价格昂贵且只有FC SAN专用的光纤交换机,客户端的Initiator或iSCSI卡代替了价格较高的主机HBA卡,具有iSCSI 接口的高性价比的存储设备代替了光纤磁盘阵列。
当然,两者的区别还不仅如此。
FC SAN具有良好的扩展性,IP SAN的扩展性更加出色。
我们可以在IP SAN中使用SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IP SAN的容量。
如果比较大数据块传输的性能,基于千兆以太网的IP技术与基于4Gb/s光纤的FC SAN还有一定差距。
但是,从发展趋势看,万兆以太网已蓄势待发,相信IP SAN的性能会得到很快提升。
在安全性方面,iSCSI规范包含了Initiator和目标验证(使用CHAP、SRP、Kerberos 和SPKM),以防止未经授权的访问,同时只允许可信赖的节点访问。
作为补充,IPSec可以提供安全保证,防止侦听。
光纤通道是工作在第二层的协议,原本并没有建立相应的安全机制以及安全通用协议,只不过是基于逻辑上的数据通道绑定。
由于IP技术的普及和发展,利用iSCSI技术搭建的IP SAN可以随着网络延伸至全球任意一个角落,从根本上解决了信息孤岛的问题。
我们甚至可以通过IP SAN来连接各个FC SAN的孤岛。
利用标准化的数据传输通道、标准的接口以及虚拟存储管理技术,IP SAN存储网络几乎可与所有种类的磁盘阵列兼容。
产品互操作性的问题迎刃而解。
优点:(1)成本投入小。
iSCSI所使用的适配卡、交换机和缆线这些产品的价格比FC SAN 所选用的硬件产品价格要低,并且iSCSI可以在现有的网络上直接安装,并不需要更改企业的网络体系,这样就大量节约资金投入。
(2)管理门坎及维护成本更低。
一般来说,FCSAN多半需要特定的工具软件来操作管理,所以需要对人员进行一定时间的教育训练,而且费用不低。
iSCSI SAN乃透过IP网络来传输数据及分配存储资源,所以只要使用网络现有的管理功能即可,比较起来,的确可以省下大笔管理人力及训练成本。
(3)无距离限制。
由于iSCSI SAN是一种基于IP网络的存储技术,它会随着IP网络的延生而将存储距离不断扩大,因此iSCSI SAN是无距离限制的。
(4)组建方式灵活,可扩展性高。
由于iSCSI SAN存储系统可以直接在现有的网络系统中进行组建,并不需要改变网络体系,加上运用交换机来连接存储设备,对于需要增加存储空间的图书馆来说,只需要增加存储设备就可完全满足,因此,iSCSI SAN存储系统的可扩展性高。
(5)传输速度快。
拜GBE以太网络之赐,理论上,iSCSI SAN的速度可达1GB,虽然速度仍比不上FC SAN的2GB,但效能上已超越大部分的NAS。
更重要的是,一旦下世代的10GB以太网络普及的时候,iSCSI SAN就可能以10GB的高速狂飙,比FCSAN的下世代版本———4GB还要快。
(6)人才较多。
随着因特网的日益兴盛,造就了取之不尽、用之不竭的TCP/IP网络人才,比起门坎较高的FC SAN来说,这对于专走IP网络Base的iSCSI SAN而言,可说是一大优势。
iSCSI SAN的缺点天底下没有十全十美的事物。
虽然iSCSI SAN的优点不少,而且十分抢眼,但仍有许多待解决的缺点。
(1)扰人的噪声碰撞;(2)有待改进的效能瓶颈:①传输频宽问题;②流量控制问题;③I/O端的速度限制;④软件iSCSI Initiator会耗费掉大量的CPU资源,效能不彰。
(3)令人质疑的安全性。
IP网络环境复杂,再加上懂IP的人较多,所以安全性也相对地令人质疑。
1.3.3监控应用中选择IP SAN的底层原因除了上节分析的系统架构和成本方面的区别外,从性能方面分析,IP SAN也比FC SAN更适合应用于监控存储中。
在监控应用中,由于多路并发等应用特殊性,决定了性能瓶颈往往在硬盘上,而不是主机接口上。
以3Gb/s SATA盘为例,在监控模拟应用中的测试性能约为40MB左右,实际可以支持500路CIF码流;考虑的做RAID后性能的提升,实际应用中也仅可以支持到的1000-1500路CIF码流,换算成带宽也就是65-95MB/s之间。
单4Gb/s的FC主机接口带宽为500MB,2个千兆主机接口带宽为250MB,主机接口带宽均远大于65-95MB,即使按照主机接口应用带宽约为理论带宽的50%,也大于硬盘在监控应用中的实际性能,即采用FC或者IP 接口对整体性能几乎没有什么影响。