XX微型云计算数据中心解决方案1目录1. 概述 (2)1.1. 建设背景 (2)2. XX微型云计算数据中心解决方案 (2)2.1. 方案目标 (2)2.2. 设计原则 (2)3. XX微型云计算数据中心产品介绍 (3)3.1. XX产品特点 (3)3.2. XX产品组成 (5)3.2.1. cStor云存储系统 (5)3.2.2. 网络云盘 (10)4. 详细配置 (12)11.概述1.1. 建设背景2.XX微型云计算数据中心解决方案2.1. 方案目标云计算的飞速发展,使云存储领域涉及的范围越来越广,随着企业办公人员对数据存储安全性和可靠性的要求越来越高,使用传统的存储模式,如移动硬盘、U盘、刻录光盘等方式,都存在着使用不方便、管理麻烦等诸多问题,特别软硬件故障可能导致本地存储信息的大量丢失或损坏。
因此如何安全可靠的存储企业运营数据,成为了现在企业办公的重中之重。
因此,云创存储推出XX微型云计算数据中心,用最少的成本为企业部署云存储以及企业办公应用软件,为办公室配置一朵迷你的云,满足企业的办公需求,大幅度降低了企业IT建设的门槛与风险。
2.2. 设计原则●经济性要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求,充分提高资源利用率,简化管理,并能灵活、可持续扩展。
●安全性数据是业务系统核心应用的最终保障,不但要保证整套系统能够7X24运行,而且存储系统必须有高可用性,以保证应用系统对数据的随时存取。
同时配置安全的备份系统,对应用数据进行更加安全的数据保护,降低人为操作失误或病毒袭击给系统造成的数据丢失。
1在进行系统设计时,充分考虑数据高可靠存储,采用高度可靠的软硬件容错设计,进行有效的安全访问控制,实现故障屏蔽、自动冗余重建等智能化安全可靠措施,提供统一的系统管理和监控平台,进行有效的故障定位、预警。
保密性通过用户数据的集中存储,用户无法使用普通外设(如U盘、移动硬盘等)获得数据,极大提高数据保密性;●稳定性为确保整个系统能够稳定工作,软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统,对于与应用的集成接口,提供统一的通用稳定访问接口。
●易管理性系统具有自适应管理能力,安装、维护、升级简易方便,提供统一易用的WEB 配置管理监控平台,实现智能化管理。
3.XX微型云计算数据中心产品介绍3.1. XX产品特点XX微型云计算数据中心产品具有如下特点:1)超安全的私有云计算数据中心XX采用可靠的分布式云存储,最大支撑三个72TB的存储节点,采用1:1容错保证企业数据安全可靠,XX可作为企业的数据中心,为企业的各种重要数据提供安全可靠的存储,重要数据包括企业设计文档、设计图纸、经营数据等。
2)海量存储空间支持灵活使用裸容量高达72TB,采用1:1容错,可用空间最大达36TB,既可作为应用软件(如邮箱、视频监控等)的海量存储空间,又可以作为员工的私密存储空间,还可以作为数据共享空间。
为了保障数据安全,办公室内部共享数据与通过互联网共享数据采用完全隔离的两套系统。
13)简易的部署方式随着中小型企业、学校等单位的迅速发展壮大,拥有自己的服务器是必不可少的。
但是传统的服务器的部署不仅占用空间,而且可能还需要有专门的机房,对于办公场所面积有限制的企业、单位来说部署一套传统的服务器是相当不易的。
而XX具有节省空间的得天独厚优势,500mm ×441mm ×350mm的大小集三个服务器于一身,完全消除企业单位应对部署服务器的困难。
不需要专业人员就能在自己的办公场所部署一套集成多应用的服务器。
4)人性化的系统监控可方便地对XX进行监控,完成对系统的实时监控,包括云存储容量的监控、磁盘的监控、CPU的监控以及内存的监控。
XX微型云计算数据中心监控界面5)可靠的企业应用企业应用程序包括网盘、云存储管理节点等均采用双机热备,为企业提供安全可靠的应用,保证应用程序可持续的运行;同时XX提供配置接口,通过配置可实现第三方应用程序的双机热备。
6)自动同步各个客户端中文件夹自动同步,服务器文件自动保持一致,多客户端文件自动同步。
7)多平台随时访问1XX微型云计算数据中心支持Windows客户端、网站、Android客户端、iPhone/iPad 客户端,方便用户随时随地访问XX。
8)便携共享,协同办公XX支持多人共享同步文件夹,提供了更加便捷的协同办公的方式。
3.2. XX产品组成3.2.1.cStor云存储系统cStor云存储系统包括卷管理、元数据管理、块数据管理服务。
元数据是指文件的名称、属性、数据块位置信息等,元数据管理通过元数据服务程序完成。
因元数据访问频繁,故系统将元数据加载缓存至内存中管理,提高访问效率。
由于元数据的重要性,元数据损坏或丢失则相当于文件数据丢失,因此实现了元数据服务器主备双机高可用,确保7×24小时不间断服务。
通过元数据远程多机冗余备份功能,实现在多台其它机器上备份元数据,当元数据服务器损坏,可以通过备份的元数据重新恢复服务,切保数据可以完整找回。
块数据是指文件数据被按照一定大小(默认64MB)分割而成的多个数据块,分布存储到不同的存储节点服务器上,并通过编解码容错算法产生相应的冗余块。
块数据服务是运行在每个存储节点服务器上的块数据管理程序,负责使用存储服务器上的磁盘空间存储文件数据块,并实现相应的编解码功能。
相比较传统业界的云存储采用块数据简单备份冗余容错机制,编解码容错方式大大降低了硬件资源冗余度,提高了磁盘利用率。
由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。
卷管理服务器负责将多个卷虚拟化整合,对外提供统一的整体访问云存储空间。
文件系统采用中心服务器模式分布式存储架构,控制流与数据流分离,通过增加存储节点系统采用自动注册机制,实现系统高可伸缩性,增加或减少存储节点规模,不影响1系统正常提供存储访问服务。
该系统架构实现了统一调度,负载均衡和流量自动分担功能,多个存储节点同时对外提供数据流服务,系统根据磁盘空间使用比例进行资源优化配置。
同时在多个不同的存储节点之间实现根据空间比例进行优化配置,数据优先存储的空间利用比例相对较低的磁盘或存储服务器上。
XX分布式文件系统具有自动冗余重建功能,确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。
3.2.1.1.工作机制数据写入机制数据写入过程参考下图:(1)客户端向元数据服务器请求写入文件数据,元数据服务器返回写入服务器列表;(2)客户端进行文件切块写入有块数据服务器;(3)客户端每写入一定量的块数据后,通知元数据服务器,由元数据服务器启动一个编码任务,进行编码;而客户端继续写数据,真到写完成为止;(4)元数据服务器调度一个或多个块数据服务器进行编码任务;(5)被调度的块数据服务器,获取需要的原始信息块组进行编码,产生冗余数据块;1数据读出机制数据读出过程参考下图:(1)客户端向元数据服务器请求读出文件数据,元数据服务器返回数据块位置列表;(2)客户端进行数据块读出;(3)客户端进行数据块校验;(4)对未能读出的数据块或无效块通过同编码组内其它数据块进行解码,获得完整正解的文件数据。
3.2.1.2.关键技术(1)负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在主管理服务器上,文件则划分为多个节点存储在不同的节点服务器上。
主卷管理服务器维护了一个统一的命名空间,同时掌握整个系统内节点服务器的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况,选择负担最轻的节点服务器对外提供服务,自动均衡负载负担。
另外,当某有一个节点服务器因为机器故障或者其他原因造成离线时,主卷管理服务器会将此机器自动屏蔽掉,不再将此节点服务器提供给客户端使用,同时存储在此节1点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上,自动屏蔽节点服务器故障对系统的影响。
(2)高速并发访问技术客户端在访问云存储时,首先访问主卷管理服务器节点,获取将要与之进行交互的节点服务器信息,然后直接访问这些节点服务器完成数据存取。
客户端与主卷管理服务器之间只有控制流,而无数据流,这样就极大地降低了主卷管理服务器的负载,使之不成为系统性能的一个瓶颈。
客户端与节点服务器之间直接传输数据流,同时由于文件被分成多个节点进行分布式存储,客户端可以同时访问多个节点服务器,从而使得整个系统的I/O高度并行,系统整体性能得到提高。
通常情况下,系统的整体吞吐率与节点服务器的数量呈正比。
(3)高可靠性保证技术对于元数据,通过操作日志来提供容错功能,当主管理服务器发生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。
为了防止主管理服务器彻底死机的情况,还提供了主管理服务器远程的实时备份,这样在当前的主管理服务器出现故障无法工作的时候,另外一台备管理服务器可以迅速接替其工作。
对于节点服务器,采用编解码的方式实现容错,分布存储在不同的节点服务器上。
数据块的分布策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。
在其后的过程中,如果相关的数据块出现丢失或不可恢复等状况,主管理服务器会自动将该数据块编解码冗余到其他节点服务器,从而确保数据块的一定的冗余容错,进行自动冗余容错重建。
在有多个节点服务器的情况下,任意损失一个节点,数据都不会丢失,而且随着节点服务器数目的增多,整个系统的可靠性越大。
(4)高可用技术系统中的所有服务节点均是通过网络连接在一起,由于采用了高可靠的容错机制,系统增减节点不必停止服务,可在线增减存储节点,存储节点和元数据节点间通过注册管理机制自适应管理,实现自动伸缩。
元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作,对外服务不停止;存储节点采用编解码冗余备份机制,如采用4:2编码容错,任意损失两个节点,数据不丢失,服务不停止。
13.2.1.3.接口描述作为云平台基础架构层的XX云存储系统,主要支持两种访问方式:①POSIX通用文件系统接口访问;②通过专用API访问。
具体描述如下。
(1)POSIX通用文件系统接口访问XX客户端挂接程序支持Linux/Unix/Windows/MacOS等操作系统,并且支持POSIX 接口规范,通过客户端将云存储系统挂载成本地目录或磁盘后,用户可以如同操作本地目录或磁盘一样使用云存储空间。
同时,对于基于本地文件系统的应用程序,可以不加修改,直接应用在云存储系统上。
通常情况下,可以通过在客户端的基础上部署FTP、NFS等服务器的方式,对外提供基于FTP和NFS的数据存储访问。
(2)应用程序API接口调用XX云存储系统对外提供应用程序API访问接口,可以根据实际应用的需要编写应用程序,通过调用相应的接口直接访问XX云存储系统。