３． ＰａｒａＳｔｏｒ２００存储系统的带宽性能测试
72
《高性能计算发展与应用》 ２０１５年第三期 总第五十二期
测试软件： ｉｏｚｏｎｅ３．４３ 测试参数：持续读、写以１Ｍ为单位的块，大小 为２５６Ｇ的文件
３．１ 单节点读写性能测试：
／ｐｕｂｌｉｃ／ｓｏｆｔｗａｒｅ／ｂｅｎｃｈｍａｒｋ／ｉｏｚｏｎｅ／３．４３０／ｇｎｕ／ｉｏｚｏｎｅ
＝ ９８９８８７．８５ ｋＢ／ｓｅｃ
Ｍｉｎ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
＝ ９９４３５．５７ ｋＢ／ｓｅｃ
Ｍａｘ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
＝ １０９６２３．２０ ｋＢ／ｓｅｃ
Ａｖｇ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
而Ｌｕｓｔｒｅ等并行文件系统的元数据ＩＯ节点也支持 冗余配置，但只支持一主一备的热备模式，正常工 作时只有主节点响应并行文件系统元数据请求，另 一台完全闲置，无论主节点负载多高备节点都无法 帮助分担；当主节点故障时，元数据服务切换到备 节点，切换时间通常达到５－１０分钟，切换期间文件 系统服务停止，会造成计算节点上正在运行的程序 报错退出。
＝ ９８１３１９．５３ ｋＢ／ｓｅｃ
Ｍｉｎ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
＝ ９４５１３．８１ ｋＢ／ｓｅｃ
Ｍａｘ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
＝ １０５８１３．５８ ｋＢ／ｓｅｃ
Ａｖｇ ｔｈｒｏｕｇｈｐｕｔ ｐｅｒ ｐｒｏｃｅｓｓ
此外，管理员也可以通过命令行方式， ＰａｒａＳｔｏｒ２００存储系统对健康状态进行查询。
图３ ＰａｒａＳｔｏｒ２００存储系统健康状态，读写ＩＯ，存储使 用率情况
５． 小结
ＰａｒａＳｔｏｒ２００存储系统在上海超算装机完成至今已 有约２个月时间，期间除磁盘故障外，没有发生过其 它故障，运行稳定。
从ＰａｒａＳｔｏｒ２００存储系统的底层硬件架构来看，因 采用了多台Ｘ８６服务器插硬盘的架构来替代传统的磁 盘阵列＋机头的架构，较多的节省了成本，可尽一步 降低存储系统的预算。
２．２ 多副本及纠删码数据保护技术 ＰａｒａＳｔｏｒ２００存储系统采用Ｎ＋Ｍ：Ｂ纠删码数据保护
技术（可以理解成跨设备节点的ＲＡＩＤ校验技术）， 既能实现数据的高可用保护，又能提高存储系统的 利用率。Ｎ＋Ｍ：Ｂ，Ｎ代表数据对象个数或数据分布磁 盘数量；Ｍ代表校验对象个数或容忍故障的磁盘数 量；Ｂ代表容忍故障的节点数量。
图２ ＰａｒａＳｔｏｒ２００存储系统的Ｎ＋Ｍ纠删码数据保护示意 本次ＰａｒａＳｔｏｒ２００存储系统采用８＋２：１的保护策
略，即８个数据对象匹配２个校验对象，这１０个对象 根据哈希算法分布在不同数据控制的不同硬盘上， 这１０块硬盘为一组，可以容忍２块硬盘同时失效而不 至于数据丢失；整套存储系统可以容忍１台数据控制 器失效而不至于数据丢失。在这种配置下，存储系 统空间利用率可达到８０％。
70
《高性能计算发展与应用》 ２０１５年第三期 总第五十二期
魔方－２超级计算机存储系统介绍
薛刚 上海超级计算中心 上海 ２０１２０３ ｇｘｕｅ＠ｓｓｃ．ｎｅｔ．ｃｎ
前言
随着近年来数据的爆炸性增长，ＰＢ规模级的存 储系统已经越来越常见。而在高性能计算领域中， ９０％以上的数据是非结构化数据。从目前来看，传统 的 ＳＡＮ 和 ＮＡＳ 存储架构已经无法满足高性能计算对 海量非结构化数据处理的密集型 Ｉ／Ｏ 及海量并发访问 的需求。
由于采用８＋２：１保护策略，ＰａｒａＳｔｏｒ２００存储系 统可以容忍２块硬盘同时失效。实际上２块硬盘“同 时”失效的概率非常低，因为当ＰａｒａＳｔｏｒ２００的１块硬 盘失效后，系统会在很短时间内在其它硬盘上自动 完成数据重建，重建完成后，ＰａｒａＳｔｏｒ２００又可以容 忍２块硬盘同时失效。数据修复过程完全无人值守。 用户只用定期更换故障硬盘即可，更换新硬盘后， ＰａｒａＳｔｏｒ会自动进行底层数据迁移，平衡容量。
＝ ９８１５５．８２ ｋＢ／ｓｅｃ
Ｍｉｎ ｘｆｅｒ
Hale Waihona Puke ＝ ３７４９８８８．００ ｋＢ
测试结果：
总进程数
４
写ｋＢ／ｓｅｃ
１０４８０３２．４３
读ｋＢ／ｓｅｃ
９８１５５８．１７
３．２ １６节点读写性能测试： ｎｏｈｕｐ ／ｐｕｂｌｉｃ／ｓｏｆｔｗａｒｅ／ｂｅｎｃｈｍａｒｋ／ｉｏｚｏｎｅ／３．４３０／ｇｎｕ／
为解决传统存储架构成为高性能计算的性能 瓶颈，此次魔方－２超级计算机使用了基于对象集 群文件系统存储架构，曙光ＰａｒａＳｔｏｒ２００存储系统。 ＰａｒａＳｔｏｒ２００存储系统，打破了传统的存储软（文件系 统）、硬（磁盘阵列）分离的模式，将后端磁盘与 分布式文件系统融为一体，提供面向文件级别的存 储服务。
ｏＳｔｏｒ介绍：用于提供数据存储空间，内嵌高性 能数据存取引擎，并行处理所有客户端的数据访问 请求，支持以多个ｏＳｔｏｒ节点间冗余方式进行数据保 护；ｏＳｔｏｒ配置：双路Ｉｎｔｅｌ Ｘｅｏｎ Ｅ５－２６２０ ｖ２处理器 ／６４ＧＢ内存／５６ Ｇｂ ＩＢ网络
ｏＡｐｐ介绍 ：向应用提供符合 ＰＯＳＩＸ语义数据访 问接口。
ａ１１２ ／ｐｕｂｌｉｃ／ａ ｐｕｂｌｉｃ／ｓｏｆｔｗａｒｅ／ｂｅｎｃｈｍａｒｋ／
ｉｏｚｏｎｅ／３．４３０／ｇｎｕ／ｉｏｚｏｎｅ
……
测试结果：
总进程数
６４
写ｋＢ／ｓｅｃ
１１６１８７５４．７７
读ｋＢ／ｓｅｃ
６３５９４９２．０３
４． ＰａｒａＳｔｏｒ２００存储系统的监控管理
ＰａｒａＳｔｏｒ２００存储系统提供基于ＷＥＢ的图形化 监控管理界面，提供系统配置管理、监控告警等功 能，方便用户实时监控系统的状态，简化了安装和 维护过程，提高了管理效率。
２．４ 全冗余架构，无单点故障 ＰａｒａＳｔｏｒ２００存储系统为非对称多集群架构设计，
系统中的任何一个部分都采用集群架构设计，能够 确保整套存储系统在任何组件失效时，都能够保持 业务的连续性和用户的正常数据访问。当单台索引 控制器ｏＰａｒａ、管理控制器ＭＧＲ、数据控制器及磁盘 （２块）同时发生故障时，ＰａｒａＳｔｏｒ２００存储系统仍然 可以正常使用。此外，ＰａｒａＳｔｏｒ２００存储系统的数据传 输网络也支持冗余网络结构，多套数据网络支持故 障切换（ＩＢ网络、万兆以太网络、千兆以太网络）和 负载均衡。
－ｒ １ｍ －ｓ ２５６ｇ －ｉ ０ －ｉ １ －＋ｎ －ｗ －ｔ ４
Ｃｈｉｌｄｒｅｎ ｓｅｅ ｔｈｒｏｕｇｈｐｕｔ ｆｏｒ １０ ｉｎｉｔｉａｌ ｗｒｉｔｅｒｓ ＝
１０４８０３２．４３ ｋＢ／ｓｅｃ
Ｐａｒｅｎｔ ｓｅｅｓ ｔｈｒｏｕｇｈｐｕｔ ｆｏｒ １０ ｉｎｉｔｉａｌ ｗｒｉｔｅｒｓ
与传统磁盘阵列ＲＡＩＤ保护技术相比，使用
71 交流之窗
Ｎ＋Ｍ纠删码技术，ＰａｒａＳｔｏｒ２００存储系统可以实现数 据重建无人值守，比如深夜磁盘出现故障，传统 ＲＡＩＤ要立即人工更换磁盘，而ＰａｒａＳｔｏｒ２００只要有剩 余空间就可以自动进行数据重建；ＰａｒａＳｔｏｒ２００的数据 重建并发进行，１ＴＢ数据半小时内重建完成，而传统 ＲＡＩＤ的重建时间可能长达１０小时到１天以上，而且 ＲＡＩＤ在数据重建期间磁盘负载很重，很容易出现雪 崩效应，即继续出现磁盘损耗，导致ＲＡＩＤ降级甚至 数据丢失。
２．１ 采用元数据和数据分离的结构 ＰａｒａＳｔｏｒ２００存储系统的元数据结构采用元数据和
数据分离的非对称式结构，这也是国际主流的并行
存储系统架构，元数据和数据分离有助于提升存储 系统的性能和扩展性。
ＰａｒａＳｔｏｒ２００存储系统可以同时支持多台元数据 控制器（索引控制器）组成元数据集群（目前配置 ２台），每台元数据控制器均为Ａｃｔｉｖｅ在线状态，正 常工作时负载均衡并行文件系统客户端的元数据访 问请求，一台元数据控制器出现故障时，其它元数 据控制器分担其工作负载，接管时间非常短，且为 在线切换，不中断正在进行的ＩＯ请求，不影响并行 文件系统的业务运行。元数据存储采用ＲＡＩＤ６保护的 ＳＳＤ高速磁盘以提高元数据访问性能。
２．３ Ｓｃａｌｅ－ｏｕｔ 扩展方式 Ｓｃａｌｅ－ｏｕｔ扩展方式是指性能随容量增加而线性增
长。在ＰａｒａＳｔｏｒ２００存储系统中，可以通过添加数据控 制器ｏＳｔｏｒ的数量，来获得更大的存储容量，及更高 的ＩＯ聚合带宽。
ＰａｒａＳｔｏｒ２００存储系统的横向动态扩展特性打破 了传统架构的扩展限制，系统容量可以动态扩展至 ＥＢ级。按需购买存储容量，减少了的一次性投资成 本。在增加了新的数据控制器ｏＳｔｏｒ后，条带化技术 将 Ｉ／Ｏ 操作均匀分布到多个数据控制器，为数据提供 了多个并行传输通道，并行化的Ｉ／Ｏ有效地提高了存 储系统的读写带宽和ＩＯＰＳ，从而实现最高达数百ＧＢ／ ｓ的吞吐量。系统聚合ＩＯ带宽随系统容量的增加呈线 性增长，可满足由于用户应用规模的不断增长而带 来的容量和性能的需求。
我们在使用中也发现在一些小的问题，比如用 户磁盘限额ｑｕｏｔａ的精确度不够，有时会偏痉２０％左 右；替换故障磁盘后，需要人工执行命令等，这需 要曙光公司进一步解决。
＝ １０４８０３．２４ ｋＢ／ｓｅｃ
Ｍｉｎ ｘｆｅｒ
＝ ３８０４１６０．００ ｋＢ
Ｃｈｉｌｄｒｅｎ ｓｅｅ ｔｈｒｏｕｇｈｐｕｔ ｆｏｒ １０ ｒｅａｄｅｒｓ
＝ ９８１５５８．１７ ｋＢ／ｓｅｃ
Ｐａｒｅｎｔ ｓｅｅｓ ｔｈｒｏｕｇｈｐｕｔ ｆｏｒ １０ ｒｅａｄｅｒｓ
ｉｏｚｏｎｅ －ｓ ２５６ｇ －ｒ １ｍ －ｃ －ｉ ０ －ｉ １ －ｔ ６４ －＋ｎ －＋ｍ ／ｐｕｂｌｉｃ／ ａ／ｍａ ＞＆ ｉｏｚｏｎｅｔｅｓｔ ＆
ａ１１１ ／ｐｕｂｌｉｃ／ａ ｐｕｂｌｉｃ／ｓｏｆｔｗａｒｅ／ｂｅｎｃｈｍａｒｋ／
ｉｏｚｏｎｅ／３．４３０／ｇｎｕ／ｉｏｚｏｎｅ
……
图１ ＰａｒａＳｔｏｒ２００存储架构图
２． ＰａｒａＳｔｏｒ２００存储系统的特点