５０
万方数据 Ｉ计算机教育２００７．４｜
环／球／ＩＴ 进行通信和计算。ＭＰＩ＋ＯｐｅｎＭＰ混合模型可以选择 主线程或指定一个线程进行通信，而其他线程执行计 算，从而实现了通信与计算的重叠。
＝…＠）＿等
４．４性能测试
本文采用不同的进程数对平板流动进行了测试， 该算例中采用多块网格结构，本文下面的所有的计算 负载和通讯负载都是都是平衡的，图４给出了四组不 同计算规模下的加速比。其中，图中标出的是一块网 格的网格点数（共１２８块），另外，在本测试中，由于 迭代步较少，Ｉ／Ｏ占用会影响统计时间的准确度，因 此，下面测试中未计人流场计算结束后的文件输出。 对于纯ＭＰＩ的测试，本文给每个处理核分配一个进 程，而ＭＰＩ＋ＯｐｅｎＭＰ混合并行的测试，本文对每个 Ｓｏｃｋｅｔ分配一个进程，同时，每个Ｓｏｃｋｅｔ上又分配２ 个线程。 图中可以看到，当处理核总数较少的时候，与 ＭＰＩ＋ＯｐｅｎＭＰ｝昆合并行模型相比，由于ＭＰＩ的并行 粒度相对较大，因此性能明显占优，进程数小于３２的 时候，除了Ｇｒｉｄ ９７．１３．２５之外，其余的并行效率都 超过了９５％，前者性能较低是由于单进程上的计算量 相对其他的计算较小，因此通信占用就比较大，因此 效率较低。随着处理核的增加，ＭＰＩ并行模式的通信 量也增加，图４中可以看到，当通信量达到一定规模 之后，不管是Ｓｈａｒｅ Ｓｏｃｋｅｔ还是Ｄｉｆｆｅｒｅｎｔ Ｓｏｃｋｅｔ的 通信带宽都大大减小，因此在１２８个处理核的测试中， ＭＰＩ并行模式下的并行效率也明显降低，相对来说， 而混合并行模型由于减少了通信的进程数，从而减少 了计算中的通信占用比，因此性能较好。
丁
５结束语
ＯｐｅｎＭＰ＋ＭＰＩ这种混合并行模型相比单纯的 ＭＰＩ消息传递更能充分利用ＳＭＰ集群系统，在某些 情况下可以改善性能。本文首先对两种不同情况下的 节点内的通讯进行了测试，表明基于Ｓｈａｒｅ Ｓｏｃｋｅｔ的 通信性能较好，然后采用ＭＰＩ＋ＯｐｅｎＭＰ混合并行模 型对ＮＡＰＡ软件进行了改进和测试，结果表明，就 ＮＡＰＡ软件本身而言，采用ＭＰＩ并行模型在小规模节 点情况下性能较好，而采用混合并行模型在多节点情 况下可以大大减少通信，从而获得更好的性能。团
２．２
ＯｐｅｎＭＰ并行模型
ＯｐｅｎＭＰ使用Ｆｏｒｋ－Ｊｏｉｎ的并行执行模式。开始
时由一个主线程执行程序，该线程一直串行地执行， 直到遇到第一个并行化制导语句后才开始并行执行。 过程如下：①ＦｏｒＫ．主线程创建一队线程并行执行并 行域中的代码；②Ｊｏｉｎ：当各线程执行完毕后被同步 或中断，最后又只有主线程在执行。
ｔｈｅ
Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ，２００５，Ｉ Ｆ Ｃａｐｐｅｌｌｏ，Ｄ Ｅｔｉｅｍｂｌｅ．ＭＰＩ Ｖｅｒｂｓ ＭＰＩ＋ＯｐｅｎＭＰ
ｏｎ
７（Ｉ）．
ＩＢＭ ＳＰ ｆｏＰ
ｏｎ
［２】Ｃｈａｒｌｅｓ
Ｄ Ｈ．Ｔｗｏ－－ｄｉｍｅｎｓｉｏｎａｌ ａｅｒｏｄｙｎａｍｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ
Ａ Ｐ
Ａ软件进行了
ＭＰＩ＋ＯｐｅｎＭＰ的？昆合并行改进和并行优化，并在大 规模节点上对比了混合并行和纯ＭＰＩ的性能。
４．２测试平台介绍
本文的计算平台节点包括２个Ｓｏｃｋｅｔ（ｘ８６平台， 主频２．６ Ｇ双核）和８Ｇ内存，计算节点共３２个， 千兆交换机，操作系统为Ｒｅｄ
Ｉｎｔｅｌ Ｃｏｍｐｉｌｅｒ Ｈａｔ
∽
ｊ
１．２ １ Ｏ．８ ０．６ ０．４ ０．２ ０ ０ ｌ ２ ４ ８ １６ ３２ ６４ １２８
３混合并行方法 ３．１混合并行的实现方法
图２不同模式下的通信延迟比较
Ｂａｎｄｗｉ ｄｔｈ
ｌ＋ＷＤＣ ｜士ｗＤｃ
Ｓｈａｒｅ
Ｓｏｃｋｅｔ Ｓｏｃｋｅｔ
Ｄｉｆｆｅｒｅｎｔ
为了充分利用ＳＭＰ集群层次存储结构的特点，可 以考虑将上述两种编程模型相结合，实现Ｍ Ｐ Ｉ／ ＯｐｅｎＭＰ的混合编程模型。该模型同样具有层次结 构：上层的ＭＰ Ｉ表示节点间的并行；下层的ＯｐｅｎＭＰ 表示节点内的多线程并行：首先对问题进行区域分 解，将任务划分成通信不密集的几个部分，每个部分 分配到一个ＳＭＰ节点上，节点间通过ＭＰＩ消息传递 进行通信；然后在每个进程内采用ＯｐｅｎＭＰ编译制导 语句再次分解，并分配到ＳＭＰ的不同处理器上由多 个线程并行执行，节点内通过共享存储进行通信。图 １描述了ＳＭＰ集群上ＭＰＩ／ＯｐｅｎＭＰ混合编程模型的 实现机制。 ＭＰＩ和ＯｐｅｎＭＰ的混合编程模型提供了节点间和 节点内的两级并行机制，综合了进程间各个区域的粗 粒度并行和进程内部循环级的细粒度并行。实践证明， 在很多情况下其执行效率高于纯ＭＰＩ和ＯｐｅｎＭＰ的 程序，混合并行模型解决了一些它们无法解决的问题， 比如： （１）负载平衡问题【ｌ・１。混合并行模型很好解决了
图１混合并行模型
加∞∞∞∞加加 ∞＼重∞ ∞ ∞０
零§毒§零毋§◇弩≮≮≮整黼、
ｋａ＜；—ｒ一１一 图３不同模式下的通信带宽比较
．／厂
．◆—◆√
／
／
，一一—弋
＼ ＼
‘▲—●ｒ一１｜—Ｉ
．．．．＼ 一
一Ｉ—－卜ｊ卜▲ Ｍｅｓｓａｇｅ Ｓｉ．ｚｅ．（Ｂ）
３．３混合并行的优点
单纯ＭＰＩ程序不容易实现负载平衡的问题，从而提高 了并行程序的性能和可扩展性。 （２）通信带宽和延迟问题［ｎｌ。ＭＰＩ并行程序进程 间的通信带宽和延迟问题可能会严重影响程序的执行 性能。混合模型的程序将减少通信的次数，并且 ＯｐｅｎＭＰ的线程级并行具有较小的延迟。 （３）通信与计算的重叠【１２１。大多数ＭＰＩ实现都是 使用单线程实现的。这种单线程的实现可以避免同步 和上下文切换的开销，但是它不能将通信和计算分开， 因此，对于多处理系统上，单个的ＭＰＩ进程不能同时
Ｐ。ａｂｅｎｓｅｉｆｎｅｒ，Ｇ Ｗｅｌｌｅｉｎ．Ｃｏｍｍｕｎｉｃａｔｉｏｎ
ａｎｄ
Ｏｐｔｉｍｉｚａｔｉｏｎ
Ｐａｒａｌｌｅｌ
ｐｒｏｇｒａｍｍｉｎｇ Ｍｏｄｅｌｓ
ｏｎ
Ｈｙｂｒｉｄ Ａｒｃｈｉｔｅｃｔｕｒｅ．Ｉｎｔｅｒｐａｃｅ
Ａｐｐｌｉｃａｔｉｏｎｓ心唱ｔｈｅ ＮＡＳＡ Ｃｏｌｕｍｂｉａ Ｓｕｐｅｒｃｏｎ∞ｕｔｅｒ，２００５
ＭＰＩ ａｎｄ ＡＣＭ
Ｐｒｏｇｒａｍｍｉｎｇ Ｓｔｙｌｅ
ｏｎ
Ｓｈａｒｅｄ Ｍｅｍｏｒｙ Ｍ¨ｌｔｌＤｒｏｃｅｓｓｏｒｓ．Ｉｎ
［４］朱国林，李树民，王开春．维低速Ｎｓ方程的并行计算
ＳＰＡＡ，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡ，Ｊｕｎ．２００５
［１ １］单莹，吴建平，王正华．基于ＳＭＰ集群的多层次并行
编程模型与并行优化技术［Ｊ］．计算机应用研究，２００６．
ＭＰＩ和ＯｐｅｎＭＰ并行模型 在并行计算领域，ＭＰＩ和ＯｐｅｎＭＰ是最为流行的
万方数据
计算机教育２００７．４
ｌ
４９
环／球／ＩＴ ＯｐｅｎＭＰ的编程相对简单，充分利用了共享存储 体系结构的特点，避免了消息传递的开销。虽然它也 支持粗粒度的并行，但主要还是针对细粒度的循环级 并行。ＯｐｅｎＭＰ的另一个特点在于将串行程序转换为 并行程序时无须对代码作大的改动。其不足之处有只 能在共享存储结构的机器上运行；数据的放置策略不 当可能会引发其他问题；并行化的循环粒度过小会增 加系统开销等。
Ｓｐｅｅｄｕｐ（ｐ）＝｝
』ｐ
Ｅｆｆｉｃｉ绷钞（ｐ）：—Ｓｐｅｅｄ—ｕｐ（ｐ）
万方数据
计算机教育２００７．４
ｌ
５＂１
环／球／ｉＴ
参考文献：
［１］Ｄｉｍｉｔｒｉ
Ｊ．Ｍａｖｄｐｌｉｓ，Ｍｉｃｈａｅｌ Ｊ．Ａｆｔｏｓｍｉｓ，Ｍａｒｓｈａ
『８１
Ｂｅｒｇｅｒ，Ｈｉ曲
Ａｓｐｅｃｔｓ ｏｆ Ｊｏｕｒｎａｌ ｏｆ
Ｒ
９．０，编译器为
１．２．７。
９．０，消息传递库为Ｍｐｉｃｈ
４．３性能评价方法
并行计算中，我们把并行程序分成两部分：即串 行部分和并行部分，如果用Ｔｓ表示串行部分串行执行 所需的时间，Ｔｃｏｍｐ表示并行部分串行执行所需的时 间，Ｔｃｏｍｍ表示Ｐ个进程并行计算中通讯部分占用 的时间，使用Ｐ个进程执行的时间为Ｔｐ，那么单进程 串行执行的时间为：Ｔｌ＝Ｔｓ＋Ｔｃｏｍｐ，Ｐ个进程并行 执行的加速比（Ｓｐｅｅｄｕｐ）、并行效率（Ｅｆｆｉｃｉｅｎｃｙ）、 通信占用比（”。。。）分别是：
３．２节点内并行的性能测试
本文首先测试了节点内并行的性能，测试在Ｉｎｔｅｌ
Ｘｅｏｎ
Ｗｏｏｄｃｒｅｓｔ
２．６Ｇ
（双核）的平台上进行，结
果如图２和图３所示。 其中，Ｓｈａｒｅ Ｓｏｃｋｅｔ表示Ｓｏｃｋｅｔ中不同处理核之 间的消息传递，而Ｄｉｆｆｅｒｅｎｔ Ｓｏｃｋｅｔ表示不同Ｓｏｃｋｅｔ 之间的消息传递。可见Ｓｈａｒｅ Ｓｏｃｋ：ｅｔ间的通信性能明 显好于不同Ｓｏｃｋｅｔ间的通信性能。
［５］吕晓斌，兰黔章，朱自强．二维跨音速Ｅｕｌｅｒ方程分区并 行算＇法［Ｊ］．北京航空航天大学学报，２０００，２６（２）：１
［Ｊ］。空气动力学学报，２００２． ［５］冯云，周淑秋天．ＭＰＩ＋ＯｐｅｎＭＰ混合并行编程模型应用研
９４—１ ９７
ｆ １ ０］Ｇ
Ｔｈｒｅｅ ＯｐｅｎＭＰ
Ｋｒａｗｅｚｉｋ，Ｆ ＣａｐｐｅＩＩｏ．Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐａｒｉｓｏｎ ｏｆ
环／球／ＩＴ
ＳＭＰ集群上的混合并行计算
ＩＮＴＥＬ中国软件中心 金君 乔楠／文
１引言 并行计算机体系结构的一个发展趋势是ＳＭＰ （Ｓｙｍｍｅｔｒｉｃ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）集群系统。它们是由 拥有多个处理器的ＳＭＰ节点和连接各节点间的快速 网络构成的多级体系结构。理想的并行编程方案可使 应用程序设计者能以最有效的方法使用这个混合的硬 件结构，获得理想的性能而不会引起由其导致的任何 开销。 在分布式内存的系统上，使用ＭＰＩ的消息传递已 经被广泛的应用［１－４】，但是，大多数情况下，特别是在 大规模节点下，采用纯的ＭＰＩ并行模型并不能取得理 想的性能巧１。此外，ＯｐｅｎＭＰ已经成为共享存储系统编 程的工业标准。由于ＳＭＰ集群同时具有共享存储和分 布存储两极存储结构，因此节点内采用ＯｐｅｎＭＰ进行 多线程化、节点间采用消息传递的混合并行模式可以 更好的利用ＳＭＰ集群的特性［６１。 近几年来，多极混合并行计算已经被应用于许多 应用中【７】，并且取得了较大的成功［８－ｉｏｌ，本文首先介绍 了ＯｐｅｎＭＰ和ＭＰＩ并行模型和混合并行方法，以Ｎａｐａ 软件为例，进行了ＭＰＩ＋ＯｐｅｎＭＰ混合并行改进，最 后在大规模节点上对比了混合并行和纯ＭＰＩ的性能。