多计算机-网络 多进程/线程-通信 并行计算环境 加速比/可扩展性
并行计算基础知识 3/66
2018/8/16
并行计算系统基础
并行计算机分类 主流并行计算机系统比较 机群并行计算环境
2018/8/16
并行计算基础知识
4/66
并行计算机分类
根据指令流和数据流的不同，通常把计算机系统分为：
LLNL IBM SP power3 Rmax 7.22Tflops
2018/8/16
并行计算基础知识
11/66
SMP 对称多处理机
SMP系统一般使用商品化微处理器，具有片上或外置高速缓存 经由高速总线（或交叉开关）连向共享存储器。每个处理器可等同 地访问共享存储器、I/O设备和操作系统服务。 单一操作系统映像，全系统只有一个操作系统驻留在共享存储器中， 它根据各个处理器的负载情况，动态地分配各个进程到各个处理器， 并保持负载平衡； 低通信延迟，各个进程通过读 / 写操作系统提供的共享数据缓存区 来完成处理器间的通信，其延迟通常小于网络通信延迟； 共享总线带宽，所有处理器共享总线带宽，完成对内存模块和 I/O 模块的访问。
2018/8/16
并行计算基础知识
12/66
SMP 对称多处理机（续）
问题：欠可靠，总线、存储器、操作系统失效可能导致系统崩溃； 可扩展性较差，由于所有处理器都共享总线带宽，而总线带宽每3 年才增加 2 倍，赶不上处理器速度和存储容量的增长步伐，因此 SMP的处理器个数一般少于64个，且只能提供每秒数百亿次的浮点 运算。 SMP 的 典 型 代 表 有 ： SGI POWER Challenge XL 系 列 、 DEC Alphaserver 84005/440、HP9000/T600和IBM RS6000/R40。
2018/8/16
并行计算基础知识
16/66
DSM （续）
MB
P/C LM DIR NIC
MB
P/C LM DIR NIC
定制网络
2018/8/16
并行计算基础知识
17/66
机群（Cluster）
我国的曙光 1000A 、曙光 2000 、曙光 3000 以及 前不久推出的曙光4000L等都是机群架构的并行 计算机 Cluster 的每个系统都是一个完整的工作站，一 个节点可以是一台PC或SMP 各个节点一般由商品化的网络互连，节点上的 网络接口是松散耦合到I/O总线上的 每个节点一般有本地磁盘，一个完整的操作系 统驻留在每个节点上
Top500中的超级计算机
地球模拟器 ASCI Q ASCI White
2018/8/16
并行计算基础知识
6/66
Earth Simulator
Earth simulator center Nec Rmax:35.86Tflops 8*8*640
2018/8/16
并行计算基础知识
7/66
2018/8/16
并行计算基础知识 15/66
DSM （续）
基于Cache的数据一致性 DSM较好地改善了 SMP的可扩展性能。一般地， DSM 可以扩展到上百个节点，能提供每秒数千 亿次的浮点运算功能 单一的系统映像，在 DSM 中，用户只看到一个 操作系统，它可以根据各节点的负载情况，动 态地分配进程
2018/8/16
并行计算基础知识 18/66
机群（Cluster）
MB P/C M B MB P/C M B
LD
NIC
IOB
LD
NIC 定制网络
IOB
2018/8/16
并行计算基础知识
19/66
可扩展高性能机群服务器技术
Expandability
Node Expandable User Expandable System Expandable Application Expandable

单指令流单数据流（SISD） 单指令流多数据流（SIMD） 多指令流单数据流（MISD） 多指令流多数据流（MIMD）
并行计算机系统绝大部分为MIMD系统，包括

并行向量机（PVP，Parallel Vector Processor）； 对称多处理机（SMP,Symmetric Multiprocessor）； 大规模并行处理机（MPP，Massively Parallel Processor）； 机群（Cluster）； 分布式共享存储多处理机（DSM，Distributied Shared 2018/8/16 ） 5/66 并行计算基础知识 Memory
Earth Simulator
2018/8/16并行计来自基础知识8/66Earth Simulator
2018/8/16
并行计算基础知识
9/66
ASCI Q
1024 nodes 8cpu/node 10240Gflops 7727Gflops
2018/8/16
并行计算基础知识
10/66
ASCI white
2018/8/16
并行计算基础知识
13/66
SMP 对称多处理机（续）
P/C
P/C
P/C
总线或交叉开关
SM
SM
SM
2018/8/16
并行计算基础知识
14/66
DSM 分布式共享存储多处理机
DSM 的 典 型 代 表 为 SGI 的 Origin2000 和 Origin3000系列并行机 处理器对物理分布的共享存储器的访问是不对 称的，因此远端访问延迟一般是本地访问延迟 的3倍以上 单一内存地址空间，所有这些内存模块都由硬 件进行了统一编址，并通过互连网络形成了并 行机的共享存储器
2/66
并行计算基本概念
Parallel computing、high performance computing、 high-end computing

The simultaneous use of more than one computer to solve a problem.

并行计算基础知识
冯圣中
fsz@
中国科学院计算技术研究所 国家智能计算机研究开发中心 国家高性能计算中心（北京）
2018/8/16
并行计算基础知识
1
主要内容
并行计算 并行计算系统基础 并行计算基本概念 几种典型的benchmark
2018/8/16
并行计算基础知识