Intel Paragon系统框图
I/O部分
SCSI
计算
节点
节点
计算部分
计算 节点
……
服务部分 I/O部分
计算
服务
SCSI
节点
节点
节点
以太网
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
服务 节点
SCSI 节点
FDDI
VME 节点
用户I/O
磁带
HIPPI 节点
计算 节点
计算 节点
……
计算 节点
CU
PE0
PE1
…
P E n-1
IN
M0
M1
…
M m-1
(b)共享存储阵列机
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
6
阵列处理机的特点
• SIMD－单指令多数据流机
• 利用资源重复开拓计算空间的并行
• 同步计算－－所有PE执行相同操作
• 适于特定问题（如有限差分、矩阵运算等） 求解
2021/1/21
10
Balance同构对称多处理机系统
80386CPU Weitek1167FPU
…
80386CPU Weitek1167FPU
存储器 8MB
…
存储器 8MB
64KB 高速缓存
…
64KB 高速缓存 系统总线
存储控制器
… 存储控制器
总线适配器 以太局域网
磁盘控制器
…
磁盘
磁盘
总线适配器 多总线
• 阵列处理机 分布存储 共享存储 流水线
• 向量处理机 并行向量机
紧耦合多机系统
• 共享存储多处理机同构对称对机系统
DSM/SVM
• 分布存储多计算机
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
5
阵列处理机的两种基本结构
CU
P E n-1
P0
…
P n-1
M0
M n-1
IN
(a)分布存储阵列机
• 大规模并行处理机MPP(Massively Parallel Processor)；
• 工作站机群COW(Cluster of Workstation)
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
15
并行计算机体系结构模型
VP
… V P
VP
P/C
… P / C
P/C
MB P/C
• 紧耦合与同构对称方式 中科大-并行计算讲义-并行计算机系统与结构模
型
2021/1/21
9
典型的紧耦合多处理机系统
PPIN
PMp
Pp
…
PM1
P1
… C M 1
CMp
PMIN
M1
…
Mm
PIOIN
…
I/O通 道 D1
Dd
PM: 局 存 CM: 高 速 缓 存 P: 处 理 器 D: 外 部 设 备
中科大-并行计算讲义-并行计算机系统与结构模 型
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
7
Cray-1的向量处理
向量部件 整数加3 移位4 逻辑2
浮点部件 浮点加6 浮点乘7 浮点倒数14
标量部件 整数加3 逻辑1 移位2-3 数“1”/计数3-4
地址运算部件 整数加2 整数乘6
8个向量寄存器，每 个64字，每字64位
• 第一章 并行计算机系统与结构模型 • 第二章 PC机群的搭建 • 第三章 并行程序设计简介
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
3
第一章 并行计算机系统与结构模型
• 1.1 典型并行计算机系统简介
– 1.1.1 阵列处理机
– 1.1.2 向量处理机
– 1.1.3 共享存储多处理机
SCSI
…
I/O
总线适配器 x.25远程网
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
11
分布存储多计算机
• 松散耦合多机系统
• 节点独立（可有局存、IO设备等）
• 易于扩展
• 多地址空间
• 消息传递通信界面
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
12
并行算法实践
上篇 并行程序设计导论
中科大-并行计算讲义-并行计算机系 统与结构模型
并行算法实践 上篇 并行程序设计导论
• 单元I 并行程序设计基础
• 单元II 并行程序编程指南
• 单元III 并行程序开发方法
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
2
单元I 并行程序设计基础
• 易于编程
• 易于扩展
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
14
并行计算机体系结构
• 单指令多数据流机SIMD（Single-Instruction Multiple-Data）；
• 并行向量处理机PVP（Parallel Vector Processor）；
• 对称多处理机SMP（Symmetric Multiprocessor）；
LM
MB P/C
… LM
交叉开关
总线或交叉开关
NIC
NIC
SM
SM
SMb)SMP
定制网络
(c)MPP
MB P/C LM DIR NIC
MB P/C
…
LM
DIR
NIC
定制网络
(d)DSM
中科大-并行计算讲义-并行计算机系统与结构模 型
MB P/C
MB P/C
M
…
Bridge
服务 节点
SCSI 节点
… … … …
… … … … … …
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
13
分布共享存储多处理机
• 分布共享存储DSM－Distributed Shared Memory
将物理上分布的存储系统，通过硬件和软 件的办法，向用户提供一个单一的全局地 址空间
M Bridge
LD
IOB
NIC
LD
IOB
NIC
2021/1/21
商 品 网 络 (以 太 网 ， ATM， etc.)
(e)COW 16
对称多处理机SMP(1)
• SMP: 采用商用微处理器，通常有片上和片外Cache，基于总线连接， 集中式共享存储，UMA结构
• 例子：SGI Power Challenge, DEC Alpha Server,Dawning 1
8个标量寄存器
8个地址寄存器 指令处理器
I/O
主存储器
说明：12个功能流水部件 中后面的数字，表示流 水线延迟的时钟周期数
中科大-并行计算讲义-并行计算机系统与结构模 型
2021/1/21
8
共享存储的多处理机
• MIMD－多指令多数据流机
• 单一的共享地址空间
• 易于编程、难于扩展
• 存储访问可成为性能瓶颈
– 1.1.4 分布存储多计算机
– 1.1.5 分布共享存储多处理机
• 1.2 当代并行计算机体系结构
– 1.2.1 并行计算机体系结构模型
– 1.2.2 并行计算机存储结构模型
– 1.2.3 分布式高速缓存与主存体系结构 中科大-并行计算讲义-并行计算机系统与结构模
型
2021/1/21
4
典型并行计算机系统