当前位置:
文档之家› 第10讲 分布式云存储PPT课件
第10讲 分布式云存储PPT课件
Windows DFS示例
解决思路
这是一个典型的Windows DFS的应用, 33台服务器足以实现一个颇具规模 的分布式文件管理系统,在部署DFS平台之后,这33台文件服务器逻辑上组 成一个大的文件服务器,并且通过服务器之间文件自动复制策略,保证每 一个文件至少有一个以上的副本,对于不同分支机构员工经常需要访问的 文件可以进行就近缓存,以节省流量,提升整体访问性能。
服务器端与客户端依据约定的存取协议(协议可能是标准协议),根据权限分配 ,允许客户端访问经过授权的目录与文件
对于客户端来讲,一旦获得访问授权,其使用这些目录与文件就像使用本地磁 盘一样方便
分布式文件系统的用途
“云盘”:后台存储通常应用的是分布式文件系统 客户端:可以是个人电脑、平板、手机 未来个人存储不需要放在本地,直接通过各种客户
Windows DFS示例
DFS测试与验证
以上建立了一个以RootRes为根目录,BServer为分支节点 的小型分布式文件系统
Windows DFS示例
用户需求 A公司由总部与十家分支机构组成,总部与分支机构各有三台 Windows文件服务器,共33服务器。A公司员工根据权限设定,需要 经常使用这些服务器,但面临如下问题 服务器数量多,名称不容易记 文件均是在服务器单点存储,没有副本冗余设计 文件存放于不同的服务器,员工不容易进行查找 而A公司运维人员面临的问题也很严峻,需要维护的服务器数量众 多,无法细粒度保证用户是否是合法访问
Windows DFS示例
环境准备
机器代号 IP地址 主机名称 共享目录 所处城市 URL 操作系统
AServer 172.16.10.50 XSHSI-1 C:\RootRes 北京 \\172.16.10.50\RootRes Windows 2003 Server
BServer 172.16.3.51 tsclient C:\ 济南 \\172.16.10.50\RootRes\BServer Windows 2008 R2
Windows DFS示例
DFS根目录部署
操作对象是BServer主机 在“开始”菜单中选择“运行”命令,输入“DFSGUI.MSC”,会出现的“分
布式文件系统”界面,然后顺次配置即可
Windows DFS示例
DFS链接制作
操作对象是AServer主机 选择上面新建的RootRes并右击,选择“新建链接”命令
为简化说明,从中抽出2台服务器进行讲解,一台来自于总部,命名为 AServer,用于当成根目录节点;另一台来自于一家分支机构,命名为 Bserver。
通过下面的操作将AServer搭建成一个管理节点,作为统一访问入口;
BServer中一个共享目录挂接至AServer根目录下面,并命名为Btest,用户 能够通过访问AServer中的BTest就可以访问到BServer上的资源。的标准协议方便客Fra bibliotek机进行高效存取。
主命名服务器
备用命名服务器
分布式文件系统的设计基于客户机/服务器模式
服务器端通常由主命名服务器、备用命名服务器以及多个节点数据服务器组成 数据服务器节点集群 主命名服务器提供元数据存取:元数据是关于数据的数据或者叫做用来描述数据的数据 备用命名服务器为主命名服务器提供冗余保护 数据服务器存储数据块,用于具体文件块的存取
端访问远端个人存储区域
4
分布式文件系统特点
分布式文件系统通过协同多个节点消除单点故障和性能瓶颈,并在 设计上要满足以下特点:(1)高可用;(2)高负载;(3)高性能。
较于传统文件系统的特点
统一命名空间:客户端看到的是统一的全局命名空间,用户操作起来就像
是管理本地文件系统,但用户文件实际上分布于集群的多个节点上。
Windows DFS Windows上提供了一种文件分布式存放、统一访问的机制 DFS平台能够将存储在不同地域服务器(前提是网络可达)上的共享文件夹 ,以链接的形式加入到一个逻辑共享文件夹,也称为根目录,通过访问 根目录中的资源别名,可以实现对资源的实际访问
Hadoop HDFS Hadoop分布式文件系统
常见的分布式文件系统
Lustre Lustre主要面向超级计算机,拥有超强可扩展性与可靠性,能够支持上 万个节点,PB级存储、100GB/S的高速访问能力
Google FS Google FS(Google )是谷歌公司开发的一个分布式可扩展的文件系统, 它主要用于大型、分布式、大数据量的互联网应用平台 Hadoop平台,是在受到Google FS启发后,采用其理念重新用Java语言实 现的一个开源平台
第10讲 分布式云存储
1
主要内容
1 分布式文件系统的特点 2 常见分布式文件系统 3 Windows平台DFS搭建 4 Hadoop与HDFS介绍 5 单节点HDFS部署 6 HDFS编程与控制
2
分布式文件系统
分布式文件系统(Distributed ,客D户端FS)
指通过一套管理系统,能够将文件分散至不同的计算机进行存储,并通过规范
扩展性强:可灵活增减数据服务器节点,或通过替换的方式增强节点的 存储能力 高性能:数据服务器节点在功能上完全对等,单个节点故障不会影响集 群整体运转 高度负载均衡:后端通过负载均衡算法将文件切成块并分布式存放;前 端用户读写请求采用数据块的方式并行操作,并通过负载均衡策略,将 前端的访问操作分散到多个数据服务器节点上。
Mogile FS Mogile FS是运行于Linux平台上的开源分布式文件系统,由Danga Interactive 公司开发 基于应用层的分布式文件系统,支持NFS、HTTP访问
常见的分布式文件系统
Fast DFS Fast DFS是一个类Google FS的开源分布式文件系统,它由C/C++语言开 发,可运行于Linux、UNIX、AIX平台 Fast DFS支持文件的高效存储、同步、上传、下载等,比较适合于互联 网视频网站、文档分享网站、图片分享网站等应用