集中式计算:这种计算范式是将所有计算资源 集中在一个物理系统之内。所有资源（处理器、内 存、存储器）是全部共享的，并且紧耦合在一个集 成式的操作系统中。
并行计算：在并行计算中，所有处理器或是紧 耦合于中心共享内存或是松耦合于分布式内存。
分布式计算：一个分布式系统由众多自治的计 算机组成，各自拥有其私有内存，通过计算机网络 通信。分布式系统中的信息交换通过消息传递的方 式完成。
高性能计算：HPC系统强调系统的原生速度性能 高吞吐量计算：HTC主要应用于被百万以上用户 同时使用的互联网搜索和Web服务 讨论的问题包括集群、MPP、P2P网络、网格、 云、Web服务、社会网络和物联网。事实上，集群、 网格、P2P网络和云之间的区别将会越来越模糊
9
HPC: High-
Performance Computing
也介绍了分布式系统中可扩展性、性能、可用 性、安全、节能等方面的基本问题。
8
1.1 互联网之上的可扩展计算
一个并行的、分布式的计算系统使用大量的计 算机解决互联网上的大规模计算问题。
分布式计算的缺点是数据敏感和网络中心化。
互联网计算的时代
平台的变革：1950年代起大型机、小型机、个人算课程的学生吗？如果 是，那么这本书是你的最佳选择。作者首先评价了过去30年 计算和IT趋势中的变革，并讨论了集群计算系统和大规模并 行处理器。接着，针对云计算应用，他们介绍了虚拟机、虚 拟机在线迁移、虚拟集群构建、资源配置和虚拟数据中心设 计。然后，作者介绍了云体系结构和数据中心设计的设计原 理与使能技术，探究了两种主要的分布式服务（REST和Web 服务）以及Web服务在网格系统中的扩展。此外，作者还介 绍了主要的云编程范式： MapReduce、BigTable、Twister、 Dryad、DryadLINQ、 Hadoop、Sawal和Pig Latin。而且书 中还介绍了计算/数据网格中的设计原理、平台体系结构、 中间件、资源管理和服务标准。之后，作者描述了非结构化、 结构化和混合式覆盖网络。最后，他们检测了 IBM、 Salesforce、SGI、Manijarsoft、NASA和CERN构建的一些公 有云和私有云。”
11
云计算：一个互联网云的资源可以是集中式的 也可以是分布式的。云采用分布式计算或并行计算， 或两者兼有。云可以在集中的或分布式的大规模数 据中心之上，由物理的或虚拟的计算资源构建。
普适计算是指在任何地点和时间通过有线或者 无线网络使用普遍的设备进行计算。
物联网是一个日常生活对象（包括计算机、传 感器、人等）网络化的连接。物联网通过互联网云 实现任何对象在任何地点和时间的普适计算。
——摘自Amazon读者评论
5
第一部分 系统建模、集群化和虚拟化
第1章分布式系统模型和关键技术。介绍过去30 年在并行、分布式、云计算领域发生的一些变 革。
第2章可扩展并行计算集群。主要研究集群计算 系统和大规模并行处理器。
第3章虚拟机和集群与数据中心虚拟化。介绍了 虚拟机、虚拟机在线迁移、虚拟集群构建、资 源配置、虚拟配置适应，以及用于云计算应用 的虚拟化数据中心的设计。
互联网计算这一术语几乎涵盖了所有和互联网 相关的计算范式。
12
HPC和HTC系统需要遵从如下设计原则：
效率:在HPC系统中开发大规模并行计算时，度量 执行模型内资源的利用率。对于HTC系统，效率更依 赖于系统的任务吞吐量、数据访问、存储、节能。
可信：度量从芯片到系统到应用级别的可靠性和 自管理能力。目的是提供有服务质量（QoS）保证的 高吞吐量服务，即使是失效的情况下。
6
Chapter 1: Enabling Technologies and Distributed System Models
分布式系统模型和关键技术
7
本章介绍过去30年在变化负载和大数据集的应用 驱动下，并行、分布式、云计算领域发生的一些变 革。
研究了并行计算领域要求高性能和高吞吐量的 一些计算系统，如计算机集群、SOA、计算网格、 P2P网络、互联网云和物联网。这些系统在硬件体系 结构、系统平台、处理算法、通信协议、提供的服 务模型等方面均有所不同。
2
随着信息技术的广泛应用和快速发展，云计算 作为一种新兴的商业计算模型日益受到人们的广泛 关注。本书是国际上第一本完整讲述云计算与分布 式系统基本理论及其应用的教材。
书中首先简要介绍现代分布式模型，然后介绍 了并行、分布式与云计算系统的设计原理、系统体 系结构和创新应用，并通过开源应用和商业应用例 子，阐述了如何为科研、电子商务、社会网络和超 级计算等创建高性能、可扩展的、可靠的系统。本 书的目的是介绍从传统多处理器和多计算机集群到 Web规模网格、云和未来互联网中泛在使用的P2P网 络，包括大型社会网络和快速发展的物联网。
HTC: High-
Throughput Computing
P2P:
Peer to Peer
MPP:
Massively Parallel
图1-1 HPC和HTC系统的演化趋势（并行、分布 Processors 式、云计算，具有集群、MPP、P2P网络、网格、 云、Web服务和物联网）
10
计算范式间的区别：
3
作者简介
Kai Hwang（黄铠） 美国南加州大学电子工程系与 计算机系教授，清华大学首席讲席教授，IEEE终身 会士。
Geoffrey Fox 美国印第安那大学信息、计算与物 理学的杰出教授，信息与计算研究生院副院长。
Jack Dongarra 田纳西大学电子工程与计算机科学 系的大学杰出教授，橡树岭国家实验室杰出研究员， 曼彻斯特大学Turning Fellow。
Distributed and Cloud Computing
分布式与云计算系统
1
Distributed and Cloud Computing
Kai Hwang, Geoffrey Fox, Jack Dongarra,
published by Morgan Kaufmann, Oct. 2011 (648 pages)