后来，美国政府为了把HPCC计划向更高、更深入 的层次发展，又提出了三个计划：
• 推动战略计算计划（Accelerated Strategic Computing Initiative, ASCI）．
其目的是为模拟核试验和核武器储备管理提供足 够的计算能力。
• 高性能计算现代化计划（HPC Modernization Program）。
另外，日本1997年计划开发的“地球模拟器”已 于2002年研发成功，成为一度领先的世界最快的超级 计算机。
（3）并行算法的发展状况：
• （4）并行计算模型发展状况：LogP，
LogGP，BSP
• （5）并行开发环境发展状况：PVM、MPI、
HPF、OpenMP（利用超线程技术，针对共 享内存多处理器体系结构并行计算机）、 OpenCL（支持多核、GPU、DSP等硬件平 台，【目前主要建立在CUDA架构上】 ）
6 .并行与云计算的关系：
云计算以开放的标准和服务为基础，以互联网为中心，提供安全、 快速、便捷的数据存储和网络计算服务，让互联网这片“云”上的各 种计算机共同组成数个庞大的数据中心及计算中心。云计算把计算及 存储以服务的形式提供给互联网用户，用户所使用的数据、服务器、 应用软件、开发平台等资源都来自互联网上的虚拟化计算中心，该数 据中心负责对分布在互联网上的各种资源进行分配、负载的均衡、软 件的部署、安全的控制等。
同步的；确定的；适合于指令/操作 级并行。
1)阵列处理机（资源重复）;
2)流水线处理机（时间重叠）.
• 3. MISD,Multiple Instruction Stream &
Single Data Stream :
• 4. MIMD,Multiple Instruction Stream &
其目的是为了改善国防研究的计算，降低武器设计、 测试费用，保持美国在军事上的优势。其任务是建立 16个由高速网络连接的高性能计算中心。
• 每秒千万亿次浮点计算计划（Petaflops Computing）
这是美国的前瞻性研究计划。
• 日本真实世界计算计划:
日本早在20世纪90年代初就制定了这一项雄心勃勃 的计划。这项计划的目的在于超越信息处理的原有框 架，研制超并行、超分布的光计算机系统，并在神经 科学和认知科学等方面取得重大进展。真实世界内的 信息包括图像、声音、触觉、符号型知识数据等，种 类极为繁杂、信息量非常庞大。
• 李晓梅、蒋增荣等著.并行算法,湖南科学技术出
版社，1992.
• 陈国良.并行算法的设计与分析.高等教育出版社，
2002.11.
序言
1.什么叫并行算法？ 一些可同时执行的诸进程的集合，这
些进程相互作用和相互协调。
2.并行算法与串行算法的关系：
P1
P2
P3
3. 并行与并发的关系：并行<并发
并发是指两个或者多个事件在同一时间间隔内 发生。在单处理机系统中，每一时刻仅能有一道 程序执行，宏观上多道程序在同时运行，微观上 这些程序是分时交替执行。
8.国内外发展现状
（1）国内发展情况：2010年11月中国国防科学 技术大学研制的“天河－1A” 运算速度达每秒 2570万亿次,有186，368个核，在第三十六期全 球超级计算机TOP500中曾排名第一，2012年6月 排名第5。
“863”计划、“973”计划、国家自然科学 基金都对并行计算十分重视。
Multiple Data Stream
• 共享存储MIMD，也称对称多处理机
（SMP，Symmetry MultiProcessors）
适合于小粒度并行
• 分布式共享存储MIMDniform Memory Access）
适合于中小粒度并行
• 分布式存储MIMD • 1). MPP (Massively Parallel Processing) • ASCI Option Red、Inter Paragon、
（2）国外发展情况
2012年6月， Rank 1: 美国IBM的 “BlueGene/Q”，1,572,864个核，运算速度已 达16,324万亿次。
最新见附表（附表中计算速度单位为 Gflops/s）。
• 美国HPCC、ASCI计划；
早在20世纪80年代末期，美国政府就制定了一项 高性能计算计划（Federal High Performance Computing Program）。旨在发展美国的的高性能计算机并将其用 于解决一些有关国民经济与国家安全的重大问题，后 来，随着通信技术的发展，这个计划被修改为高性能 计算与通信计划（HPCC）。
并行算法及其应用
计算机学院 卢光辉
Email:**************
Tel:******************* 主楼B1-***
• 教学安排：20学时 • 教材：
孙世新，卢光辉等，并行算法及其应用
• 参考书： • 黄铠、徐志伟著，陆鑫达等译.可扩展并行计算
技术、结构与编程.机器工业出版社，2000.
第一章 并行计算平台
并行计算机分类
• 1. SISD,Single Instruction Stream & Single
Data Stream: 特征：
串行的和确定的。 指令系统:
CISC, RISC
• 2. SIMD,Single Instruction Stream &
Multiple Data Stream: 特征：
• 全书共分为三个部分：
1.基础理论:主要介绍并行计算平台、并行 算法概述、并行程序开发环境等；
2.基础应用：主要包含矩阵运算、快速傅 立叶变换、卷积运算、数字滤波、离散 余弦变换、哈达玛变换、2D离散小波变 换、数字图像处理等方面的并行算法设 计、分析与测试；
3.实际应用:主要介绍并行算法在电磁散射 中的应用和无线电波参数联合估计中的 应用。
4. 并行与分布式的关系：
网络；并行更注重性能，而分布式更注重透明 共享。
5.并行与网格计算（普适计算） 的关系：
网格通过网络连接地理上分布的各类计算资源、存储资源、通信 资源、软件资源、信息资源、知识资源等，形成对用户相对透明的虚 拟的高性能计算环境，让人们透明地使用这些资源和功能。它们与并 行计算存在规模上的差异。