8
I/O流程--MooseFS
9
I/O流程--MooseFS
10
I/O流程--HDFS
Write Process
11
I/O流程--HDFS
Read Process
12
数据存储--FastDFS
Store Get
A
B
B
A
A http
B
A
Storage Group1
B
Storage Group2
24
Q&A
Q: FastDFS中的client是如何选择tracker的，以及tracker是如何选择Storage Server的 A: 选择tracker通过轮询，tracker选择storage有三种方式： a. 轮询 b. 指定某一Server c. 最大存储空间 Q: MooseFS/HDFS在写一个分块时，是所有分块副本写完算完成，还是其中 一个分块写完就立即返回 A: 使用流式管道的方式写，所有副本写完才算完成
[3] 郑海洪.<<MooseFS原理介绍>>
[4] 郑海洪.<<MooseFS使用手册>> [5] 郑海洪.<<Hadoop原理介绍>> [6] 未知.<<漫画HDFS>> [7] 刘景龙.<<HDFS原理与实现>> [8] Tom White . <<Hadoop权威指南>> [9] Chuck Lam . <<Hadoop实战>>
A
B
A
B
A
B
A
B
A
B
13
数据存储--MooseFS,HDFS
Store
A
B B
b1 b2
MooseFS支持fuse，HDFS支持http,rcp,fuse
Get
A
a1 a3
b3
a1 a2
ChunckServer / DataNodes
a1 a2
ChunckServer / DataNodes
分布式文件系统对比
基础应用组 郑主能 2012.6.19
1

2

3
体系结构--FastDFS
Tracker对等
FastDFS
组内Storage对等
4
体系结构--MooseFS
5
体系结构--HDFS
6
I/O流程--FastDFS
文件上传
7
I/O流程--FastDFS
文件下载
b2 b3
piping/sync
b2 b3
a2 a3
a2 a3
b1 b2 b3
piping/sync
b1 b2 b3
a1 a2 a3 b1 b3
a1 a2 a3 b1 b3
14

15
容灾能力
16

17
适用场景
不改动 高吞吐
18

19
参考文献
[1] 袁晨阳.<<FastDFS原理介绍>> [2] 陈海涛,袁晨阳.<<FastDFS使用手册>>
20

21
附录--比较详情
22

23
Q&A
Q: 不同的文件(或文件块)的副本数是否可以不同，还是所有文件的副本数都是 一样的 A: 可以不同 Q: NameNode/Master会定时将内存中的元数据刷新到metadata.mfs.back 中，是增量刷新，还是全量刷新 A: 全量刷 Q: 似乎HDFS完全可以代替MooseFS，公司目前选用MooseFS的考虑点主要有 哪些 A: 作为单纯的存储，MooseFS在均衡调配的精度上比HDFS密，各个机器的数 据大小基本持衡 Q: 目前对这些文件系统的细节研究部分尚缺乏相关文档，如日志文件分析、数 据存储块的结构、日志是如何进行合并和恢复的，或者说缺乏一个技术手册 A: 有技术文档，但需申请
25
Thank You!

26