第31卷第5期2011年10月地震工程与工程振动JOURNAL OF EARTHQUAKE ENGINEERING AND ENGINEERING VIBRATION Vol．31No．5Oct．2011收稿日期：2011－05－27；修订日期：2011－07－25基金项目：国家公益性行业（地震）科研专项（200808022）；江苏省自然科学基金项目（BK2008368）作者简介：毛昆明（1985－），男，博士研究生，主要从事轨道交通引起的环境振动方面研究.E-mail ：kun -ming@yeah．net 通讯作者：陈国兴（1963－），男，教授，博士，主要从事土动力学与岩土地震工程研究.E-mail ：gxchen@njut．edu．cn 文章编号：1000－1301（2011）05－0184－06基于Abaqus 软件的并行计算异构集群平台的搭建毛昆明，陈国兴（南京工业大学岩土工程研究所，江苏南京210009）摘要：在异构集群上充分利用新、旧硬件资源调度计算任务是实现集群高性能并行计算的难点。
通过测试已搭建集群服务器的CPU 和内存对Abaqus 软件计算速度的影响，发现CPU 的主频对Abaqus /Explicit 模块计算速度的影响大，CPU 的缓存对Abaqus /Standard 模块速度影响大；当内存满足计算任务的最小需求时，增加内存对计算速度无任何影响；当内存不足时，计算速度会大幅减慢。
据此测试结果，新增4台服务器作为计算节点和一台Infiniband QDR 交换机作为交换节点，搭建了新的异构集群，性能测试结果表明：相对于千兆以太网络交换机，Infiniband QDR 交换机的并行计算效率更好，且集群的计算节点越多越显著；Abaqus /Standard 模块并行计算效率的提高幅度要比Abaqus /Explicit 模块的稍高一些。
针对异构集群硬件构架相差较大的2批新、旧硬件，设置了2个管理节点、2个网络节点、2个存储节点，充分利用了新、旧硬件资源，高效地实现了在一个异构集群平台上提交与下载任务。
关键词：异构集群；Abaqus 软件；并行计算；Infiniband QDR 交换机中图分类号：P315．69文献标志码：AConstruction of parallel computing heterogeneouscluster platform based on Abaqus softwareMAO Kunming ，CHEN Guoxing（Institute of Geotechnical Engineering ，Nanjing University of Technology ，Nanjing 210009，China ）Abstract ：Taking full advantage of new and old hardware resources on the heterogeneous cluster to schedule compu-ting jobs is a difficult point in the realization of high performance parallel computing．The influence of servers ’CPU and memory on computing speed of Abaqus software on the cluster which has been constructed is tested．The conclusions are drawn ：CPU clock speed has a great effect on the computing speed of Abaqus /Explicit module and CPU internal cache has a great effect on computing speed of Abaqus /Standard module．When memory satisfies the minimum requirement of a computing job ，increasing memory has no effect on the computing speed．When memory is insufficient ，computing speed will slow down sharply．According to the testing results ，four servers as the compu-ting nodes and an Infiniband QDR switch as the network node are added ，and then the heterogeneous cluster is con-structed．Parallel computing speed of the Infiniband QDR switch is tested ，and the result shows that the parallel effect of the Infiniband QDR switch is superior to the gigabit ethernet switch．The more the number of computingnodes is ，the better the parallel effect is．Abaqus /Standard module ’s elevated range of parallel computing efficien-cy is slightly better than Abaqus /Explicit module ’s．Specific to two groups of new and old equipment whose archi-tectures are quite different ，two management nodes ，two network nodes and two storage nodes are set up．The new and old hardware resources are taken full advantage ，then submission and download of jobs from the heterogeneous cluster platform is achieved efficiently．Key words ：heterogeneous cluster ；Abaqus software ；parallel computing ；Infiniband QDR switch引言数值模拟是工程振动（地震、风振、列车振动、爆破等）分析领域里一项重要的研究手段，但现代土木工程体积巨大，结构形式复杂，结构物与周围的场地构成了一个复杂的耦合作用系统。
巨大的计算量和超长的计算时间使传统的串行PC 机无能为力，故并行计算机成为高性能计算的平台。
并行计算机主要包括对称多处理机（SMP ）和集群［1］。
集群的使用更为广泛，已有很多学者搭建了并行计算集群［2－6］。
与SMP 相比，集群更具扩展性［1］：增加集群中处理器数量时只需要增加集群的计算节点，但增加集群的计算节点面对的最大难题便是计算机第一定律－－摩尔定律［7］，其本质意思是指计算机硬件的更新速度很快，一年前顶尖的产品或许一年后无人问津。
一个可升级的集群必然包含新、旧硬件，在这样一个异构集群上如何调度计算任务、充分利用所有硬件，是一个必须解决的问题。
不同的硬件在一起工作有可能不兼容，即使兼容也会产生其他不可预知的一些问题，例如：2个构架相差较大的CPU 在一起工作，其计算速度比1个CPU 还慢，甚至有可能造成任务中断。
本文在已构建的基于Abaqus 软件和Linux 操作系统的并行计算集群平台［4］的基础上，测试了CPU 和内存对Abaqus 软件计算速度的影响，增加了与原集群硬件构架相差较大的新节点，并对新构建的异构集群的拓扑结构进行了优化。
1新计算节点的硬件配置要想使集群有很好的计算性能，首先需提高单节点的计算性能。
单节点的计算性能主要受控于CPU 和内存，CPU 型号和内存大小的选择也决定了所需资金的多少。
因此，对原集群增加新的服务器前必须进行一系列测试，以决定其CPU 型号和内存大小选取的合理性价比。
当CPU 的构架相同或相差不大时，影响CPU 性能的主要参数是缓存和主频，但这两者通常不可兼得，应根据不同的应用需求进行选择。
原集群的计算节点中2台服务器的CPU 为Xeon 5365，另2台服务器的CPU 为Xeon 5450，主频均为3GHz 。
缓存对计算速度的影响见表1，以Xeon 5365的计算时间为基准（Abaqus /Standard 模块与Abaqus /Ex-plicit 模块的计算时间不作横向比较，计算时间均定为1），归一化得到Xeon 5450的计算时间。
可以看出：缓存越大，计算速度越快；缓存对Standard 模块的影响很大，但对Explicit 模块的影响不明显。
表1CPU 缓存对Abaqus 计算速度的影响Table 1Effect of CPU internal cache on computing speed of AbaqusCPU 型号缓存值Standard 模块下计算时间Explicit 模块下计算时间理论值实际值理论值实际值Xeon 53658M 1111Xeon 545012M 0．670．560．670．83原集群的终端中有3台PC 机，CPU 都是Intel Core 系列，分别为E3300、E5400、E6800，缓存均为2M 。
主频对计算速度的影响见表2，以E3300的计算时间为基准，归一化得到E5400和E6800的计算时间。
可以发现：主频越高，计算速度越快；主频对Abaqus /Explicit 模块的影响很大，但对Abaqus /Standard 模块的影响稍小。
581第5期毛昆明等：基于Abaqus 软件的并行计算异构集群平台的搭建表2CPU主频对Abaqus软件计算速度的影响Table2Effect of CPU clock speed on computing speed of AbaqusCPU型号主频值（GHz）Standard模块下计算时间Explicit模块下计算时间理论值实际值理论值实际值E33002．51111E54002．70．920．950．920．93E68002．930．850．900．850．84原集群的计算节点的内存为8GB，但可以通过拔插内存条的方式改变内存值，比较不同内存情况下Abaqus软件的计算速度。