当前位置:文档之家› 云存储技术和应用

云存储技术和应用


Client
SEAManager s
SECRET KEY
SECRET KEY
Validate Capability
Object-based Storage Devices
存储发展历史-对象存储vs块存储
存储发展历史-对象存储vs文件存储
存储自治: 容量扩展 负载均衡 备份 QoS、SLA 感知和数据分组 预取 压缩/去冗余 强安全/加密 Compliance、Retention 、secure delete 可用性、副本 自治愈
存储发展历史-对象存储
存储发展历史-对象存储设备OSD
CPU
Applications
System Call FiIlnetSeyrsfatecme
User CFoilme pSoysnteenmt
Storage Component
Block Interface
Block I/O Manager
SCSI Storage
存储发展历史-存储区域网络SAN Storage Area Network
概念: SAN的概念是允许存储设备和CPU(服 务器)之间建立直接的高速网络(与LAN相比) 连接,通过这种连接实现只受光纤线路长度限 制的集中式存储。
光纤交换机
存储发展历史-存储区域网络SAN Storage Area Network
云存储需求
– 高容量:海量,且可扩展 – 高性能:快速的访问、定位 – 高可用:个别磁盘失效,甚至整个中心被毁 – 低成本:传统的NAS、SAN技术构建大规模存储系统成本很高
云存储概念和特点
– 云存储是在云计算(cloud computing)概念上延伸和发展出来的一 个新的概念,是指通过集群应用、网格技术或分布式文件系统等功 能,将网络中大量各种不同类型的存储设备通过应用软件集合起来 协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储技术和应用
• 存储发展历史 • 云存储概念和技术 • 云存储应用
提纲
存储的发展历史
• 直连存储DAS • 存储区域网络SAN • 网络附着存储NAS • 对象存储设备OSD
存储发展历史-直连存储DAS
Direct-Attached Storage
概念:存储设备是通过电缆(通常是SCSI接口)直接到服务 器的,I/O(输入/输入)请求直接发送到存储设备。
存储发展历史-直连存储DAS
Direct-Attached Storage
备份和恢复:占用服务器资源,数据量越大,备份和恢复的时间就越长 CPU发展速度比存储发展速度快,磁盘阵列容量增大,IO成为瓶颈 服务器或磁盘阵列扩展都需要停业务,电信和银行无法忍受 服务器SCSI插槽数量有限,存储资源和数据无法服务器之间共享
存储发展历史-网络附着存储NAS
Network Attached Storage
容易部署:不需要依赖任何其他设 备,只要有一个网络端口就可以在 任何能上网的设备上使用
易于使用:文件接相对块接口更容 易使用
文件共享:方便多个主机共享数据 长距离传输:基于IP网络 易于扩展:简单的增加NAS设备到
– 高可用、可扩展、按需付费
Google Cloud
Google File System
BigTable
Google App Engine
MapReduce
云存储有哪些?
Amazon Cloud
Microsoft Azure
IBM Blue Cloud
S3 SimpleDB
Live Services SQL Services
存储发展历史-对象定义
对象的定义
Object ID:对象唯一标示 User Data:对象的数据 Metadata:元数据,空间管理信息 Attributes:对象属性
存储发展历史总结
• 存储发展历史 • 云存储概念和技术 • 云存储应用
提纲
云存储需求
云存储需求
2011年全球数据量将达1.8ZB,这人类将开始进入ZB时代
Device
CPU
Applications
System Call FiIlnetSeyrsfatecme
User Component
Object Interface
File System Storage
BlocCkoIm/OpoMnaennatger
Storage Device
存储发展历史-对象存储设备OSD
独立于服务器网络的高速光纤存储网,适合大数据高速处理 存储资源全局多主机动态共享 备份与恢复:不需要服务器参与 IO带宽:多个服务器可以并行访问统一存储设备 在线升级:在线增加服务器或存储设备
扩展性:光纤交换机提供很多接口,也可以连接其他交换机
存储发展历史-块访问
存储发展历史-块访问
网络中即可 低成本:相对SAN价格便宜
存储发展历史-文件访问
存储发展历史-文件访问
文件的Inode包含多个块,为了提高大文件操作效率 还会将两个或三个块组合起来提供访问。
存储发展历史-本地文件系统
文件/目录管理 10%工作量 块管理90%工作量
存储发展历史-分布式文件系统
通过NFS/CIFS接口访问
Cassandra。。) • 对象存储(Amazon S3) • 分布式块存储(Amazon EBS)
存储发展历史-网络附着存储NAS
Network Attached Storage
概念NAS由SUN公司在上个世纪80年代中期推出NFS开始, 是一种面向用户提供文件级服务的专用数据存储设备,存储 系统不再通过I/O总线附属于某个特定的服务器或客户机,而 是直接通过网络接口与网络直接相连,由用户通过网络访问。
Hadoop DB2
EC2 Simple Queue
EBS
.NET Services
Sharepoint Services
Dynamic CRM Services
Xen & PowerVM Websphere
Tivoli Software
云存储的热点
• 分布式文件系统(Google GFS、Hadoop HDFS。。) • NoSQL数据库(Google BigTable、Facebook
相关主题