其他文件系统的对比
mogileFS特点 mooseFS特点 TFS特点 Hadoop特点

MogileFS特点
有三个角色：tracker、storage和存
储文件信息的mysql db； 使用mysql来存储文件索引等信息，文 件同步通过tracker调度和中转； 动态冗余，灵活性一般； 不支持文件附加属性（meta data）；

网络拓扑--实施部署方案
说明：tracker1+squid-1+storage1 使用 一台服务器，共2台服务器 2台服务器配置： centOS 6.3x64位 2核+4GB内存 + 1TB存 储
达到目标： 1. 扩充空间只需要再增加一组服务器 2. 2台服务器可以均衡负荷访问 3. 2台服务器的数据一致，解决了实 时备份

HTTP下方式二（非tracker跳转）

可以分为两种方式：
跳转方式（redirect） 代理方式（proxy）
HTTP下载方式二（redirect）
HTTP下载方式二（proxy）
HTTP下载方式二流程解读
使用扩展模块来解决文件同步延迟问题 如果请求文件在当前storage上不存在， 通过文件ID反解出源storage，直接请求 源storage tracker server上不需要任何web server 在每台storage server上部署web server， 直接对外提供HTTP服务 目前已提供apache和nginx扩展模块 推荐使用扩展模块方式
非tracker跳转方式：Storage server直接提供
文件下载
HTTP下载方式一（tracker跳转）
HTTP下载方式一流程解读
通过Tracker server解决文件同步延迟的问 题 Tracker server上需使用内置web server Storage server可以使用内置web server， 也可以使用外部web server。推荐使用外 部web server，如apache或nginx

不支持文件偏移下载。
MooseFS特点
MooseFS文件系统结构包括以下四种角 色：管理服务器 (master)，元数据日志服 务器（Metalogger），数据存储服务器 (chunkservers)，客户端（client）； 文件分片（64Mb）； 多点备份，动态冗余备份； 可以自定义文件存储路径； 需要保持文件索引，内存消耗较大； 对小于64Kb的数据的存储性能不高。
以HTTP方式下载文件
FastDFS分组存储方式，为HTTP方式下载 提供了便利 FastDFS支持HTTP方式下载文件，可以使 用内置web server或者外部web server 需要解决文件同步延迟的问题 可以采取如下两种方式：

tracker跳转方式：通过Tracker server跳转
storage2
storage2’
storage2”
对等结构
FastDFS基础应用
基础操作，数据流程 网络拓扑，实际应用 容灾，优化，版本升级

文件上传操作
文件下载操作
文件索引解析

文件的存储方式和返回
文件名解析 文件名包含：源头storage IP地址和文件创 建时间戳、文件大小、随机数、文件拓展名。

总结：优缺点
优缺点（特性） 适用业务场景

特性
不记录文件索引信息 对等结构，组内所有storage 存储一致 采用异步方式将源数据服务器主动push到 其他数据库服务器 文件不进行分片处理 客户端访问时需通过tracker指定storage

优点
支持同一文件只保存一份，节约磁盘空间 下载文件支持HTTP协议，可以使用内置 Web Server，也可以和其他Web Server配 合使用 支持在线扩容，支持主从文件 storage上可以保存文件属性（meta-data） 文件不分块存储，上传的文件和OS文件 系统中的文件一一对应（实现了软件 RAID ）

缺点
自带的http
server端支持不足，storage 扩展 建议使用nginx； 没有支持python的接口； 在服务器配置不统一时不能很好的调节磁盘空 间负载压力（非动态）； 需要客户端自行记录存储信息，增加了客户端 的信息管理量。
适用的业务场景
某大型网盘（有200个group，存储容 量达到了3PB，文件数近1亿） UC （/，存储容量 超过10TB） 支付宝（/） 飞信（/） 赶集网（/） 淘米网（/）
文件服务器架构方案
摘要

分布式文件系统的使命 FastDFS如何应对
FastDFS基础应用 总结：优缺点 其他文件系统的对比


பைடு நூலகம் 分布式文件系统的使命
冗余备份； 负载均衡； 线性扩容等机制； 大量请求中高可用、高性能； 容灾和可拓展性。

FastDFS如何应对
FastDFS的基本架构特征 轻量级； 分组方式； 对等结构。
附录

参考资料站点：
FastDFS中文：/ FastDFS英文：/p/fastdfs/
HDFS特点

1 扩容能力（Scalable）：能可靠地（reliably） 存储和处理千兆字节（PB）数据。2 成本低 （Economical）：可以通过普通机器组成的 服务器群来分发以及处理数据。这些服务器 群总计可达数千个节点。3 高效率 （Efficient）：通过分发数据，hadoop可以 在数据所在的节点上并行地（parallel）处理 它们，这使得处理非常的快速。4 可靠性 （Reliable）：hadoop能自动地维护数据的 多份复制，并且在任务失败后能自动地重新 部署（redeploy）计算任务。

TFS（TaobaoFS）特点



完全扁平化的数据组织结构，抛弃了传统文件 系统的目录结构。 在块设备基础上建立自有的文件系统，减少 EXT3等文件系统数据碎片带来的性能损耗。 单进程管理单块磁盘的方式，摒除RAID5机制。 带有HA机制的中央控制节点，在安全稳定和性 能复杂度之间取得平衡。 尽量缩减元数据大小，将元数据全部加载入内 存，提升访问速度。 跨机架和IDC的负载均衡和冗余安全策略。 完全平滑扩容。

轻量级
服务端只有两角色：跟踪服务器（tracker）和存 储服务器（storage）
跟踪服务器
（tracker）
response request
存储服务器
（storage）
分组方式
Tracker servers
group1
storage1
group2
storage1’
group3
storage1”