当前位置:文档之家› 网格与存储

网格与存储

——JOURNAL OF CHONGQING THREE GORGES UNIVERSITY2006年第3期 第22卷——No.3. 2006 Vol.22.收稿日期:2006-02-05作者简介:刘福明(1967-),男,重庆万州人,重庆三峡学院数学与计算机科学学院副教授,在读硕士。

网格与存储刘福明 黄 河 应 宏(重庆三峡学院数学与计算机科学学院,重庆万州 404000)摘 要:网格把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源及专家资源的全面共享。

网格计算的基础是存储,网格中的每一个运算都必须有强大的存储功能提供支持。

本文针对网格环境下的存储技术及其发展进行了论述。

关键词:网格;网格存储;虚拟化存储;存储公用设施模型中图分类号:TP333 文献标识码:A 文章编号:1009-8135(2006)03-0028-02网格出现于20世纪90年代,它的目标是实现网络虚拟环境下的高性能资源共享和协同工作,共同完成一些缺乏有效研究办法的重大应用研究问题。

它不仅实现了对各种计算资源的访问,而且实现了对所有数据资源的统一访问。

被人们称为“网格计算之父”的Ian Foster 在《The Grid : Blueprint for a Future Computing Infrastructure 》中这样给网格下定义:“网格是构筑在互联网上的一组新兴技术,它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体,为科技人员和普通老百姓提供更多的资源、功能和交互性。

互联网主要为人们提供电子邮件、网页浏览等通信功能,而网格功能则更多更强,让人们透明地使用计算、存储等其他资源”。

网格将改变传统的Client/Server 和Client/Cluster 结构,形成新的Pervasive/Grid 体系结构,这种体系结构使用户把整个网络视为一个巨大的计算机,并从中享受一体化的、动态变化的、可灵活控制的、智能的、协作式信息服务。

1.网格与虚拟化存储 1.1 网格体系结构网格体系结构主要有两种:五层沙漏结构、开放网格服务体系结构OGSA 。

五层沙漏结构的基本思想是以协议为中心,强调服务、API (Application Programming Interfaces )与SDK (Software Development Kits )的重要性。

根据各组成部分与共享资源的距离,将对共享资源进行操作,管理和使用的功能分散在5个不同的层次:构造层(Fabric )、连接层(Connectivity )、资源层(Resource )、汇集层(Collective )、应用层(Applications )。

在此结构中,越向下层就越接近于物理的共享资源,与特定资源相关的成分就越多,越向上层就越感觉不到共享资源的细节特征,对共享资源的表示也就越抽象,因此就不需要关心与底层资源相关的具体实现问题。

开放网格服务体系结构OGSA (Open Grid Service Architecture )的基本思想是以服务为中心,在OGSA 中一切都是服务。

这里的服务是指具有特定功能的网络化实体,包括各种计算资源、存储资源、网络、程序和数据库等。

网格服务是一种Web Service ,其提供了一组接口,网格服务将通过定义接口来完成不同的功能。

因此其可以简单地表示为“网络服务=接口/行为+服务数据”。

1.2网格与虚拟化存储网格系统由三个基本层次组成,即资源层、中间件层和应用层。

资源层包括各种计算机资源,如各类计算机、贵重仪器、可视化设备等,这些资源通过网络设备连接起来。

网格资源层仅仅实现了计算资源在物理上的连通,资源共享问题并没有解决。

因此,在网格资源层的基础上通过网格中间件层完成广域计算资源的有效共享:屏蔽网格资源层中计算资源的分布和异构特性,向应用层提供透明、一致的使用接口,而这需要通过存储与数据的虚拟化来实现。

所以存储与数据虚拟化是网格运算的基础。

存储虚拟化是网格中实现存储与数据虚拟化的最底层。

它是一种将服务器操作系统的存储描述与实际物理存储设备相分离的技术。

它是存储的抽象,使用户能够在一个“更高的抽象层”来显示存储资源的视图,将所有的存储资源置于一个统一的、可用的存储池中,为用户提供一个统一的逻辑视图。

虚拟化技术可以减少存储系统的管理开销,实现存储系统的数据共享,提供透明的高可用性和可扩展性,优化使用存储系统。

虚拟化存储系统在原有存储系统结构上增加了虚拟化层,将多个存储单元抽象成一个虚拟存储池(如图1)。

存储单元既可以是物理存储设备,也可以是各种存储系统。

存储用户通过虚拟化层提供的接口向虚拟存储池提出虚拟I/O请求,虚拟化层对这些请求进行处理后将相应的请求映射到具体的图1 虚拟化存储系统结构模型2.虚拟存储的实现根据虚拟化的范围不同,存储虚拟化有三个不同的层次(或方式)。

2.1基于主机或服务器的虚拟化存储基于主机或服务器的虚拟化存储一般是通过逻辑卷管理实现的。

逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层,卷管理在系统和应用级上实现多机间的共享存储、存储资源管理、数据复制、数据迁移、远程备份、灾难恢复等任务。

这种方式下,虚拟化软件运行在服务器上,因此它要占用服务器的CPU、内存等资源,给服务器带来了额外开销。

另外基于服务器的虚拟化存储与服务器的硬件平台和操作系统紧密相关,这使得软件的移植性较差,难于应用在异构服务器环境中。

2.2基于存储设备或存储子系统的虚拟化存储基于存储设备或存储子系统的虚拟化存储是将虚拟化层放在存储设备的适配器或控制器上,在存储设备内部或存储子系统内部加以实现。

这种基于存储设备或存储子系统的虚拟通过特定的算法或映射表把逻辑存储单元映射到物理设备之上,最终实现卷独立于其所属的存储设备。

根据采用的方案不同,RAID、镜像、盘到盘的复制以及基于时间的快照都采用了此类虚拟化。

通过虚拟化,虚拟磁带库、虚拟光盘库等都得以在存储子系统中加以实现。

2.3基于网络的虚拟化存储基于网络的存储虚拟化是在主机和存储设备之间的网络设备上实现存储虚拟化功能,是存储资源最高的抽象形式,它将能最大限度地满足网格应用的需要。

按照其实现的位置不同,基于网络的虚拟化又可以细分为三种方式:基于交换机的虚拟化、基于路由器的虚拟化、基于元数据服务器的虚拟化。

3.基于网格的存储发展3.1对等型存储存储子系统变得更大、更复杂,成为网格上的同级设备。

由于网格计算的需求,存储系统将部署比现有高端品牌更复杂、功能更强的存储系统。

这种存储系统将是大规模并行的,容量和性能均具有线性可伸缩性。

多个存储子系统控制器必须能够作为同级设备在高速网络上协同工作,或者在本地,或者在不同地区,就像网格计算资源那样。

3.2附属型存储存储子系统变得更小、更简单,成为网格上计算资源的附属设备。

这类子系统附属于特定的计算资源,由网格作为资源包加以配置。

3.3存储公用设施模型存储公用设施模型的基本思想是使存储作为一种像我们日常生活中的自来水和电力一样的资源,随时可以方便的存取和使用。

它要求存储系统的管理处于集中控制之下,同时允许分布于不同地理位置的主机能够访问集中管理的数据,用户不必考虑存储设备所处的位置、采用何种存储系统以及资源如何配置等。

其关键技术是存储虚拟化。

在网格环境下,数据将存储在不同位置的不同设备中,同时要求无论数据存储在什么位置,用户都能够完全无缝地访问到所需数据。

这就对存储提出了新的需求。

(下转33页)在高校档案管理过程中,实现代化管理技术是高校档案管理的高层次目标。

要实现这个目标就必须制定周密的科学计划,研究和制定适应国家调整信息网络的中长期战略规划。

目前,高校已基本上实现全部由计算机来进行辅助立卷、检索、编目、统计、借阅等管理工作。

但计算机只是单机工作,其缺陷十分明显。

高校档案管理应该实行网络化。

网络化功能可以提高档案管理工作效率,提高档案信息的共享程度,从而优化社会资源的配置。

网络化可使数据通过转出,拷贝到WEB服务器上,用户使用浏览器就可以在任何地点查看,否则不许查看。

对于绝密的档案采取审批的方式,通过认证,才可以浏览、查看。

这对于档案的利用开发都具有划时代的意义。

四、培养高素质的档案管理人员档案工作者应具备利用网络进行档案信息存取及程序的开发和利用的基本能力。

只有这样的人才,才能按用户教学、科研的要求,从专业网络信息中提取信息资源、进行鉴别、选择、自行加工,做出有关的目录和电子刊物、技术报告、数据文件等可视资料供用户使用。

故,高校必须有计划、有目的地培养大批适应档案工作现代化需要的合格人才,特别是高层次的专业人才。

(责任编辑:郑宗荣)Review on Filing Management in the Universities during the New PeriodZHANG Ping(Arts Department, Chonqing Three Gorges College, Wanzhou, 404000) Abstract: This thesis studies on various relevant factors of filing management such as new idea, operating system, technological means, digitized management and points out valuable thoughts and methods.Keyword: networked, filing management in the universities, task(上接29页)网格存储除了具有大容量、网络化、容错性、高效性等基本要求外,还有非集中控制(自主控制)、透明访问、异构性、协同化以及全生命周期数据管理的需要。

因此它应该能够集成广域网环境下异构的各种存储资源,并且将物理分布的各类存储系统和设备虚拟成单一的存储系统,提供统一的、透明的、安全的访问和管理机制,从而使物理上分布的存储、服务器、网络设备可以自主地接入到网格中,通过中间层的虚拟化技术,为网格应用层形成统一的访问接口。

参考文献:[1]I Foster,C kesselman.The Grid: Blueprint fora Future Computing Infrastructure.San Francisco, USA:Morgan Kaufmann Publishers, 1999.[2]都志辉.网格计算[M].北京:清华大学出版社, 2002.[3]王意洁等.数据网格及其关键技术研究[J].计算机研究与发展,2002.8 39(8).[4]扬俊. 网格环境下的数据存储研究[J].哈尔滨商业大学学报(自然科学版),2005.8 21(4).[5]李晓林.存储网格面面观[J].计算机教育,2004(11).[6]金海.中国网格技术的发展及现状[EB] /20031030/3093557.shtml.(责任编辑:朱丹)The Grid and The StorageLIU Fu-ming HUANG He YING Hong(Mathematic and Computer Science College of Chongqing Three Gorges University, Wanzhou 404000)Abstract:By integration of a whole net into a titanic supercomputer, a computational grid can enable entire sharing of such resources as computing power, storage, data, information, knowledge and expertise. Storage is the most fundamental technology of grid computing, now that every operation in grid computing has to be supported with powerful storage. In this paper, we will discuss, in the setting of computational grids, the storage techniques and their development.Keywords:grid, grid storage, virtual storage, storage public establishment model。

相关主题