云存储综述（2）胡经国本文作者的话本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。
现作为云计算学习笔录，奉献给云计算业外读者，作为进一步学习和研究的参考。
希望能够得到大家的指教和喜欢！下面是正文一、云存储的概念云存储是在云计算（Cloud Computing）概念上延伸和发展而来的一个新概念，是一种新兴的网络存储技术。
它是指通过集群应用、网络技术、分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，这时云计算系统就转变成为一个云存储系统。
所以，云存储是一个以数据存储和管理为核心的云计算系统。
简单来说，云存储就是将储存资源放到云上供人们存取的一种新兴方案。
使用者可以在任何时间、任何地方，通过任何可连网的装置连接到云上，便能方便地存取数据。
总的来说，云存储是一种服务，是一种以计算机科学为载体的新兴服务。
另外，云存储还可看做是服务器与存储设备的叠加。
云计算技术可以大大减少服务器数量，大幅度减少数据传输环节，降低系统建设成本，提高工作效率，保证系统的稳定运行。
二、云存储与云计算的关系和区别云计算，是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展；是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序；再交由多台服务器所组成的庞大系统进行计算分析；最后将计算处理结果回传给用户。
通过云计算技术，网络服务提供商可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。
云计算系统的建设目标是将运行在PC上或单个服务器上的独立的、个人化的运算，迁移到一个数量庞大服务器集群中去处理用户的请求，并输出结果。
它是一个以数据运算和处理为核心的系统。
云存储是在云计算（Cloud Computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术、分布式文件系统等功能，将网络中大量各种不同类型的存储设备，通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，这时云计算系统就转变成为一个云存储系统。
所以云存储是一个以数据存储和管理为核心的云计算系统。
与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。
从架构模型来看，云存储系统比云计算系统多了一个存储层。
同时，在基础管理层，也多了很多与数据管理和数据安全有关的功能。
而两者在访问层和应用接口层则是完全相同的。
三、云存储系统架构1、云存储的应用架构要了解云存储的系统架构需要先了解其应用架构。
我们以平安城市为例，来看云存储的应用架构。
在平安城市中，云存储可为多个系统提供存储服务，包括视频监控、卡口电警、图像资源库、图侦分析研判等。
其可完成日常视频录像资源、各个案件中所涉及的视频和图片等资源、卡口电警所产生的车辆抓拍图片等资源的统一存储。
从应用架构上看，云存储系统与传统分布式存储系统的差异并不明显。
其间更本质的区别体现在内部软件架构上。
云存储系统采用大规模分布式并行文件系统，以大量的服务器和存储设备为基础，构建一个大规模存储集群，以提供上百PB的存储容量，并能够在线进行容量的扩充。
由此搭建的大容量存储系统整体成本，远低于传统存储架构，并且具有良好的可扩充性和灵活性。
云存储系统通过元数据和存储数据分离的非对称式架构，通过负载均衡和数据并发访问策略，能够在普通硬件条件下获得高达数10Gbps的传输速率以及上100PB级的存储容量，并能够根据用户应用发展的趋势，适时按需进行在线动态扩展。
与单机的文件系统不同，分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理；而是存放在一个服务器集群上，由集群中的服务器各尽其责、通力合作，提供整个文件系统的服务。
云存储系统内置了基于对象数据管理策略，能够保证在系统局部发生故障时数据的安全性和可靠性，彻底消除存储系统中的单点故障；结合自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行，同时减少部署和管理的难度。
云存储系统本身也是构建在通用磁盘阵列之上的。
它通过操作系统的API 管理磁盘上的数据；只不过这样一个系统在逻辑上可以分为元数据节点（控制节点）、数据节点（存储节点）、管理节点以及客户端4个部分；这4个部分，分别对应了上面提到的云存储的4层结构模型。
2、云存储的4层结构模型⑴、元数据节点（控制节点）元数据节点即控制节点，用于记录所存储的文件的各种属性；相当于整个文件系统的大脑，管理各个数据节点，收集数据节点信息，了解所有数据节点的现状；然后给它们分配任务，协调指示各数据节点为系统服务。
⑵、数据节点（存储节点）数据节点即存储节点，用于管理磁盘和卷和存储用户的文件数据，是整个存储系统的存储资源提供者；它同时还负责集群构建，包括节点管理和数据分片；并承担数据冗余保护和对数据访问的负载均衡。
⑶、管理节点管理节点，统一管理云存储系统中的集群节点、文件、日志、告警、网关等；同时提供日志管理、性能监控、配置管理、故障管理等能力，方便系统管理维护人员管理云存储系统。
⑷、客户端客户端，在一个独立的进程中提供服务，为用户提供文件读写、目录操作等APIs。
当用户需要使用分布式文件系统进行文件读写的时候，将客户端安装至需使用系统的服务器，即可使用系统提供的服务。
在有的云存储系统中，采用三台元数据节点，起到对元数据的重要保护（冗余）和负载均衡的作用（提升系统性能）。
数据节点定期向元数据节点汇报其状况，等待并处理命令，实现数据高效、安全读写。
在系统中，数据切片的大小，可以调整，以满足不同客户对数据文件存储策略的设定要求；同时采用完全镜像副本，保护数据文件。
四、云状的网络结构在常见的局域网系统中，为了能更好地使用局域网，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的，系统中有多少个服务器，分别安装了什么操作系统和软件，各设备之间采用什么类型的连接线缆，分配了什么IP地址和子网掩码。
但是，当我们使用广域网和互联网时，我们只需要知道是什么样的接入网和用户名、密码，就可以连接到广域网和互联网；并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器，不需要知道数据是通过什么样的路由到达我们的电脑，也不需要知道网络中的服务器分别安装了什么软件，更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。
广域网和互联网对于具体的使用者是完全透明的。
我们经常用一个云状的图形来表示广域网和互联网。
虽然在这个云图中，包含了许许多多的交换机、路由器、防火墙和服务器；但是对具体的广域网和互联网用户来讲，这些都是不需要知道的。
这个云状图形，代表的是广域网和互联网带给大家的互联互通的网络服务；无论我们在任何地方，都可以通过一个网络接入线缆和一个用户名、密码，就可以接入广域网和互联网，享受网络带给我们的服务。
参考云状的网络结构，创建一个新型的云状结构的存储系统；这个存储系统由多个存储设备组成；通过集群功能、分布式文件系统、类似网格计算等功能联合起来协同工作；并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。
当我们使用某一个独立的存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议；必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量；必须清楚存储设备和服务器之间，采用什么样的连接线缆。
为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。
除此之外，对存储设备进行定期的状态监控、维护、软硬件更新和升级也是必须的。
如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。
云状存储系统中的所有设备，对使用者来讲都是完全透明的。
任何地方的任何一个经过授权的使用者，都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。
五、云存储与传统存储系统的对比优势与传统存储系统相比，云存储具备以下几个方面的显著优势：1、存储容量的弹性扩展传统存储设备，最大容量有限，当达到一定扩展能力就很难再扩展；同时存储性能、安全性、可靠性和经济性都大大降低。
云存储系统，能够通过集群，很容易获得PB级存储容量；存储扩展没有限制，可随时随地在线增加存储节点来满足存储容量需求；并且能够做到“增加存储节点，数据自动重组，减少存储节点，数据自动恢复”的弹性和可伸缩性。
2、高并发读写性能传统存储设备的并发读写性能，容易受到NAS机头、CPU或控制器的能力限制。
云存储系统，采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受网络吞吐能力的限制。
云存储技术，可将存储节点的带宽聚合，随着存储节点的增加可以实现带宽的线性增长；理论上带宽是无限的。
同时在云存储系统中，数据文件是拆分成数据块，进行条带化存储在多台物理存储节点上的，能够最快速的并发访问数据。
另外，云存储中，数据存储是采用多副本策略存储的，可以实现热点数据的负载均衡访问。
3、可维护性云存储系统，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。
这一点大大提升了海量存储节点的可维护性。
当前来看，最直观、最能够体现云存储优势的就是可维护性。
以科达云存储系统为例：传统存储设备，通常用RAID方式进行冗余备份。
当有硬盘损坏时，RAID 重构时间通常要十几个小时。
这期间如果再有硬盘坏掉，数据就无法恢复了。
所以，维护人员需要在第一时间赶到现场更换硬盘，7×24小时待命。
科达云存储，采用分布式文件系统，数据的存储和备份不再依赖单台设备的能力。
有硬盘坏掉时，其余的硬盘将自动进行重构，恢复受损的数据。
这只需要十几分钟的时间。
维护人员只需要定期检查硬盘的损坏情况，并更换新硬盘即可，维护非常简单。
4、安全性、可靠性传统存储设备，提供的是一个透明的存储空间。
原始数据直接存在存储设备上的，数据可以直接访问和使用，并不具有信息安全和私密性。
云存储中的数据传输是加密的。
首先，用户并不知道数据存在哪个物理硬盘上；而且数据在存储设备上是按文件块存储的，无法直接进行访问。
用户存储的数据，只有自己有权限进行访问和管理，系统管理员也无法读取。
5、资源共享性传统存储设备，一般是以单一形式工作，无法做到多台设备之间的容量和带宽聚合。
云存储集群文件系统，不受限于硬件存储节点的数量，可灵活的进行统一管理和共享。