高性能计算系统方案设计第1章需求分析1.1 高性能计算的和大规模数据处理的应用高性能计算作为一种先进的科研手段，在国的应用发展很快，得到了普遍的重视，近年来国家投入逐年加大。

高性能计算的应用条件已经成熟，表现在：◆价格相对低廉的高性能机群系统为高性能计算应用提供了物质基础；◆高性能计算应用的技术门槛逐渐降低；◆国家鼓励相关单位做高性能计算的研究，相关投入不断加大；◆很多高校的科研人员使用高性能计算手段，取得了很好的成果。

1.1.1 计算机架构由于各学科高性能计算应用软件种类繁多，各种软件的应用特点也各不相同，对计算资源的需求存在差别，方案的设计需要充分考虑到实际应用的特点。

作为高性能计算基础设施的核心，现代高性能计算机的发展从20世纪70年代的向量计算机开始，也已经有了30年的发展历程。

先后出现了向量机、多处理器并行向量机、MPP 大规模并行处理机、SMP对称多处理机、DSM分布式共享存储计算机、Constellation星群系统、Cluster集群系统、混和系统等多种主体的架构，并分别在不同的时期占据着应用的主流。

开放的Cluster集群系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了约80%的份额，在中小规模的高性能计算系统中更是占据统治地位。

1.1.2 软件的并行特点按照应用程序是否为并行程序，可以分为如下几类：◆串行程序程序运行中只有一个进程或线程。

串行程序不能利用高性能计算机多个处理器的并行特点，但可以同时运行程序的多个任务或算例。

◆共享存并行程序程序运行中可以有多个进程或多个线程，可以使用多个处理器进行并行计算。

但这种并行程序不能在分布式存的机群系统上运行。

◆消息传递并行程序消息传递式并行程序可以在所有架构的计算机上运行，可以同时使用数目很多的处理器，以加速程序的运行。

在高性能集群系统上，各种程序都可以运行，可以使用集群系统的一个CPU，一个节点或多个节点。

1.1.3 互连网络高性能计算系统的互连网络包括计算网络，数据IO网络，管理监控网络等。

对于并行程序来说，进程之间的通信量也有着显著差别。

对于进程间通信量较小的程序来说，使用高性价比的千兆以太网就可以满足需求。

对于通信密集型的并行程序，多个进程之间数据交换频繁，对互连网络的性能要求很高，要求具有较高的带宽和很低的延迟，千兆以太网就不能很好满足要求，需要使用高速网络，如Infiniband，其单向带宽达到20Gb，延迟小于2微秒。

从2010 TOP500 排行榜中我们可以看到，千兆以太网和Infiniband网成为高性能计算机网络互联的主流，尤其从性能份额上来说，Infiniband网更是占据了绝大部分的份额，所以在国际主流的较大系统中，Infiniband计算网逐渐成为主流。

高性能网络的基本性能如下我们可以看到，对于千兆以太网，带宽达到112MB/s，延时非常高，达到47.57us。

而使用万兆以太网，虽然带宽和延时均有显著提高，但是与Infiniband网相比，还是有较大差距。

万兆以太网使用TCP/IP协议，带宽达到770MB，延时约为12us，使用Iwarp的RDMA 协议，性能有一定提升，带宽达到1046MB/s,延时达到7.68us。

对于Infiniband网，DDR和QDR的带宽有较大差距，但是延时比较接近，分别为1.6us 和1.3us。

值得注意的是，QDR的IP over IB的性能有了大幅的提升。

1.1.4 操作系统高性能计算的操作系统由最初的Unix操作系统为主，目前随着集群架构的逐渐广泛和Linux操作系统的逐渐成熟，Linux操作系统逐渐成为高性能计算机的主流，占到80%以上的市场份额。

为了使得集群系统有较好的兼容性，可以配置多种操作系统，如Linux （Redhat,Suse）,Windows HPC server等.第2章系统方案设计2.1 方案总体设计2.1.1 系统配置表序号名称技术规格单位数量1 硬件部分1.1 计算子系统刀片平台TC4600 标准19英寸5U机架式刀片机箱、可以支持14个计算刀片；1*管理模块，集成远程KVM和远程虚拟媒体；2*千兆网络交换模块，提供6个RJ45千兆接口；4*冗余热插拔散热模块；4*2000W电源（3+1冗余热拔插）；台 5计算刀片CB60-G15带FDR计算刀片2*Intel Xeon E5-2660 八核处器(2.2GHz)；8*8GB DDR3 1333MHz；1*300G 2.5寸10000转SAS硬盘；1*56Gb Infiniband 接口；2*1000M以太网接口；片63集群管理系统曙光GridView2.5GridView HPC版，支持系统部署、系统监控、集群管理、数据报表、统一告警、作业调度。

basic portal,包含serial 和 mpi，支持互动作业，作业故障自动切换重启，文件传输，查看修改文件操作。

套65Gridview ClusQuota 集群配额系统，可支持用户机时配额管理，充值计费管理，用户信用管理等功能。

（可选）套 1应用门户系统曙光GridviewClusportal系统包含Fluent软件作业调度套 1应用开发环境编译器GNU 编译器，支持C/C++ Fortran77/90Intel 编译器，支持C/C++ Fortran套 1 数学库MKL，BLAS、LAPACK、ScaLAPACK、FFTW 套 1 MPI并行环境OpenMPI（支持Infiniband和以太网的MPI环境）套 1MPICH2（支持千兆以太网的MPI环境）套 12.1.2 系统拓扑图2.1.3 系统方案说明计算系统CPU整体峰值性能达到17.7万亿次，可以扩展到500万亿次；◆主要产品都采用了冗余设计（电源、风扇等），存储系统采用冗余设计，系统的可靠性有较高保证；◆系统功耗（不含空调制冷系统）不超过为,150千瓦，电费可按此核算；◆曙光公司将为用户提供完善的服务，包括安装调试、系统优化、用户培训等，这些都不单独收费，用户不必考虑这些方面的费用；◆曙光公司提供5年免费上门服务，极大降低了用户的运行维护费用；◆曙光公司是领先的专业高性能机算机及方案提供商，拥有较多的成功案例，包括百万亿次超级机算机的成功案例，产品的可靠性和稳定性得到了充分验证。

2.1.4 需求相应分析●先进性本系统中，我们使用的刀片集群架构，为目前高性能发展的先进趋势。

使用的最新一代Intel E5-2600处理器，为目前性能最高的X86处理器。

使用的FDR网络，也为目前最为先进的网络技术。

同时，系统中使用的并行文件系统、自动功耗管理系统和HPC应用WEB potal，均代表着HPC的先进的发展方向。

●高可靠、高可用需求系统采用刀片服务器，冗余电源，双控制器存储系统、高级别RAID系统，以及关键节点的HA双机，同时，高效管理监控系统也是保证系统高可靠、高可用的保证。

●适合用户应用软件需求用户应用软件众多，用户众多，对计算需求大，系统共配置101TFLOPS的计算能力。

针对部分应用对节点间网络需求高，配置了高带宽，低延时的FDR Infiniband网。

带宽达到56Gbps，延时小于1us。

同时，海量计算时的IO并发读写量巨大，对存储的容量和性能需求惊人，系统配置了并行存储系统，能够实现所有存储的统一地址和并发读写。

●易使用需求系统配置了HPC WEB Portal，可以有效降低用户使用难度。

同时，针对系统和应用的专业培训，也能提高使用人员的使用水平。

针对应用软件的安装调试也大大降低了用户的使用难度。

●可扩展性需求集群的架构可以保证计算系统的良好扩展，同时，并行存储的架构也实现对存储系统的扩展。

●易管理维护需求配置高效管理系统，支持监控、告警、管理、报表等多项功能，解决管理员的后顾之忧，同时，对管理员的培训和对系统的运维支持，也能有效提高系统的管理水平。

●节能环保需求配置了刀片系统和高效节能系统，支持空载节点的自动待机，能够有效降低能耗，帮助用户节省运维成本。

2.2 计算系统2.2.1 刀片集群系统共配置63个双路8核刀片服务器，主频2.2Ghz，双精度峰值接近17万亿次。

目前，开放的集群(Cluster)系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了80%以上的份额，在中小规模的高性能计算系统中更是占据统治地位。

刀片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其它系统，且为系统的扩容升级提供了良好的基础，刀片系统的优势主要体现在以下几个方面。

⏹计算密度更高提高计算密度是刀片服务器发展的主要动力之一。

对于大规模并行计算机来说，提高计算密度尤其重要，刀片式集群系统有效提高了计算密度。

⏹机房要求降低大规模高性能计算机将对机房空间提出较高的要求，并且要为系统的扩容升级留下空间。

刀片式集群系统实现了较高的计算密度，并且有效降低了系统功耗，对系统空调等散热系统的要求也相对降低。

⏹功耗散热降低刀片服务器的功耗部件较少。

刀片柜中的电源将由多个刀片共享，所以会使用高效率电源，减小了系统功耗，同时产生的热量减少，减少了冷却系统的耗电量。

节能的设计体现在曙光刀片服务器的各个层面：1）根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。

2）修改计算刀片操作系统核，实现节能3）多计算刀片任务调整调度⏹布线简单在机架式服务器构成的集群系统中，系统布线是一个很大的问题。

系统的线缆可能包括高性能计算网络（Infiniband，以太网等）、数据网络、管理网络、监控网络、电源网络、KVM网络等，这些线缆需要连接到每一个计算单元。

尤其是在高密度、计算单元数目又比较多的情况下，系统布线是令设计人员头疼的问题。

刀片式集群系统可以大大减少系统布线的数量。

多个刀片服务器可以共用冗余电源，置的交换机将高速网络（Infiniband等）、数据网络、管理网络、KVM网络集成在一起，只需要对刀片柜进行布线，刀片柜部的计算刀片通过背板连接，无需布线。

根据计算，使用刀片式集群，可以节省85%以上的系统布线。

⏹可靠性提高曙光刀片服务器采用无源背板进行系统互连，与传统的线缆连接方式相比，把可靠性提高到了一个数量级以上。

刀片系统采取模块化、冗余、热插拔设计，进一步提高了系统的可靠性。

⏹管理方便曙光刀片服务器管理监控高度集成：通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。

管理系统整合目前两大监控技术，即IPMI以及KVM (Over IP)，真正实现监视控制一体化。

同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。