2. 集群系统的特点 与传统并行计算机系统相比，集群系统 具有许多优点： 系统开发周期短 可靠性高 可扩缩性强 性价比高 用户编程方便
集群不足之处： 由于集群由多台完整的计算机组成，它的维护 相当于要同时管理多个计算机系统，因此维护 工作量较大，维护费用也较高。对称多处理机 则相对较好，因为管理员只要维护一个计算机 系统即可。正因为如此，现在很多集群采用对 称多处理机作为结点，这样可以减少结点数量， 从而减少维护工作量和降低开支。
第二节 典型集群系统
1.NOW集群 NOW（Network Of Workstations）集群是伯克莱大 学的工作站网络，它是集群系统的一个重要代表。
并行应用程序 串行程序 套接字、Split-C、MPI
GLUnix（全局层Unix） （资源管理、网络内存、分布式文件、进程迁移） UNIX工作站 活动消息 网络界面硬件 UNIX工作站 活动消息 网络界面硬件 … 个人计算机 活动消息 网络界面硬件
第八章 多计算机系统
8.1 集群计算机系统结构 8.2 典型集群系统实例 8.3 MPP系统 8.4 网格技术 8.5 网格实例
第一节 集群计算机系统结构
集群系统就是多个独立计算机的集合。 本节将从集群系统的基本概念开始，对集群系 统的结构、集群系统的特点、集群间通信、集 群间资源管理和任务调度以及集群间并行程序 设计环境等问题分别进行介绍
PVM系统支持多用户及多任务运行，多个用户 可将系统配臵成相互重叠的虚拟机，每个用户 可以同时执行多个应用程序。 系统提供一组便于使用的通信原语，可以实现 一个任务向其它任务发消息、向多个任务发消 息，以及阻塞和非阻塞收发消息等功能，用户 编程与网络接口分离。系统还实现了通信缓冲 区的动态管理机制。 PVM支持进程组，可以把一些进程组组成一个 组，一个进程可属于多个进程组，而且可以在 执行时动态变改变。 支持异构计算机联网构成并行虚拟计算机系统。 具有容错功能。当一个节点出现故障时，PVM 会自动将其从虚拟机中删除。
CPU 存储器
Cache
NIC
PCI
NIC
PCI
交换机
CPU
Cache 存储器
CPU 存储器
Cache
NIC
PCI
NIC
PCI
构成集群的每台计算机都被称为一个结点。每个结点 都是一个完整的系统，拥有本地磁盘和自己的完整的 操作系统。除了PC外，集群的结点还可以是工作站， 甚至是规模较大的对称多处理机。
MPP系统特征： 超强的并行处理能力。 每个结点相对独立，并拥有一个或多个微处理器（P/C）
MPP的各个结点均拥有各自的操作系统映像 各个结点间的内存模块相互独立，且不存在全 局内存单元的统一硬件编址 容错能力，MPP会有专门的监督系统，确定故 障并恢复，使整个系统稳定的运行 SVM（共享的虚拟存储）存储系统 将分布于各个节点的内存进行逻辑上的统一编 址， 这样不仅能系统结构更灵活，更易扩展， 还可以简化上层应用的程序的编写，具有较好 的可移植性
Myrinet互连网络
节点间利用Myrinet交换机网络和活动消息 (Active Message)进行信息传递，NOW支持 Berkeley套接字、快速套接字、共享地址空间 并行C（Split-C）和MPI等。在操作系统方面， NOW开发了称为GLUnix（Global Layer Unix） 的操作系统。该操作系统由两层组成，提供透 明远程运行、交互式运行和串行作业支持、负 载平衡和对鲜有二进制应用程序的向后兼容性 等功能。它采用xFS无服务器的网络文件系统， 将服务器功能分布到客户机上，以达到低延迟、 高带宽的文件系统访问
1. 集群系统的基本概念和结构 集群系统由将多个高性能的工作站或高 档微型计算机，使用高性能网络互连在 一起，协同完成特定的并行任务. 它是一种造价低廉、易于构建且具有较 好可扩放性的体系结构。集群系统中的 主机和网络可以是同构的，也可以是异 构的。下图为一个包含四节点的集群系 统
CPU
Cache 存储器
3. 集群系统的通信技术 (1)现有集群一般是使用商用以太网连接，通信 协议使用的TCP/IP.集群通信具有以下缺点： 网络通信频宽低 多层结构的TCP/ICP协议处理开销大 协议复杂的缓冲管理增加了网络延迟 操作系统的额外开销
(2) 提高集群通信效率的方法 采用新型高速网络以提高网络通信频宽 目前出现了多种新型的高速网络，如共享介质 型的快速以太网和基于开关型的ATM和 Myrinet，极大地提高了通信频宽。 设计新的通信协议以降低通信延迟 ①在用户空间实现通信协议:直接对网络硬件 设备进行必要的操作，减少通信数据的拷贝次 数，提高通信效率；二是减少对操作系统调用 的额外时间开销；三是用户态协议可根据用户 的实际应用需求来设计，减少协议不必要的冗 余。
4. 集群系统资源管理和调度 集群操作系统 是在各结点的操作系统之上再构建一层操作系 统来管理整个集群，即建立一个全局UNIX， 用来解决集群系统中所有资源管理，包括组调 度、资源分配和并行文件系统等。这就是集群 操作系统。集群操作系统须具有以下特性：
单一系统映像（Single System Image，SSI） 1.单一入口点：用户连接到集群而不是某个具体结点； 2.单一文件系统：用户看到单个目录和文件层次； 3.单一作业管理系统：用户可以透明地从任一结点提 交作业，作业能在整个集群系统中透明地竞争资源。 4.单控制点：用户可以从控制工作站单点控制管理整 个系统，实现系统的安装、监督和配臵、系统操作、 用户管理等功能。
3. Linux集群实例：cluster 1350 Cluster 1350是IBM公司定位高性能计算市场 的Linux集群，包括一套完整的解决方案，集 成了众多IBM与非IBM的先进的软硬件技术， 有其特有的技术优势和强大的服务支持。其结 构如下图所示：
IBM专为Cluster 1350开发了Linux版本的的 IBM集群系统管理(CSM)1.2，它能提供资源监 控、自动运行、远程硬件控制、完成指令操作、 设臵文件管理和并行网络安装等功能。CSM通 过一个单独的控制节点可对整个Cluster 1350系 统进行有效管理，减少管理员的工作强度。在 负载加大时，CSM无需管理员额外操作，即能 完成设臵改变。同时，CSM的较高可靠性基础 设施和事件监控功能，有助于快速检查和解决 问题，从而增强了集群的可用性。
消息除包含通常的数据项外，还增加了两项： 消息处理程序指针Handler和参数。当消息达 到目的结点时，结点处理机立即产生中断调用， 由该消息的Handler启动相应的消息处理程序。 消息处理程序的功能是从网卡上取出该消息并 给发送方发送一个应答消息，然后返回原来被 中断的程序。 Active Message通信机制有两个突出特点：一 是消息驱动的异步通信方式，二是简化了对通 信数据的缓冲管理。
（2）MPI（Message Passing Interface，消息传 递接口） 它是目前最重要的一个基于消息传递的并行编 程工具。它具有移植性好、功能强大和效率高 等优点，几乎所有的并行计算机厂商都提供对 它的支持，成为事实上的并行编程标准。MPI 具有以下特点：
MPI提供了缓冲区管理的函数，用户可以决定 是完全由系统对发送、接收缓冲区进行管理， 还是用户参与部分管理，以便更实际地控制系 统的缓冲区空间，提高系统的安全性。 MPI能运行于异构的网络环境中，另外，MPI 还提供一些结构和函数，允许用户构造自己的 复杂数据类型。 MPI通过通信上下文提供通信的安全性。
集群的每个结点一般通过商品化网络连接在一起，如 以太网、FDDI、Myrinet等，部分商用集群也采用专 用网络连接，如SP Switch，Crossbar等。网络接口与 结点I/O总线以松散耦合的方式相连，如图中的NIC与 PCI。
从结构上看，集群系统属于分布存储系统，由 建立在通用操作系统之上的并行编程环境完成 系统的资源管理及相互协作，同时也屏蔽工作 站和网络的异构性。对程序员和用户来说，集 群系统是一个整体的并行系统。集群系统中的 结点机间采用消息传递方式通信。
MPI采用点对点通信，实现了两个任务间的多 种通信方式，如阻塞式、非阻塞式通信。 MPI提供了丰富的数据操作函数，实现了组内 所有任务之间的通信、数据交换和数据处理。 在错误处理上，MPI提供可靠的数据传输机制， 发送的消息总能被对方正确的接收，用户不用 检查传输错误、超时错误或其它错误条件。
负载均衡 负载平衡就是将各个任务均衡得分布到集群系统的 各处理结点，以充分利用系统资源，提高各结点的 利用率和整个系统的吞吐率。 衡量负载平衡的指标 ①吞吐率:系统上运行的应用程序的响应时间或平均 完成时间。 ②可扩展性¬ :系统规模增大或总负载大小变化时系 统负载平衡的适应能力。 ③容错性:处理机发生故障后任务恢复运行的能力。
5. 集群系统并行程序设计环境 （1）PVM(Parallel Virtual Machine,并行虚拟机) 它允许将网络上基于UNIX操作系统的并行机和 单处理机的集合当成一台“并行虚拟机”来使用。 PVM支持多种体系结构的计算机、工作站等，给 用户提供一个功能强大的分布式计算机系统.具有 以下特点：
第三节 MPP系统
1. MPP系统结构 MPP系统一般是指使用大量的，同构的处理单 元（PE，Processing Element），并以一种高 带宽，低时延的专有网络互联而成的计算机系 统。MPP系统节点之间的消息传送相对于集群 系统具有更短的延迟，系统性能更强。下图为 当前MPP系统的通用结构
②精简通信协议。第一方面是功能的精简，删除 不必要的功能呢，第二方面是协议层次的精简， 合并协议各层的功能呢，使得通信协议变为一 层，以达到减少数据传输次数的目的。 ③Active Message通信机制 Active Message是消息驱动的异步通信方式。 Active Message的通信原理如下：
ห้องสมุดไป่ตู้