云传输：广域网性能

Nielsen 法则：终端用户的网络带宽以每年50%的速度增长。 广域网： 一条T1线路的带宽只相当于千兆网的千分之一，许多帧中继线 路的带宽只有256Kbits/秒。 Garfinkel 通过测量发现从美国伯克利大学到西雅图的平均网络 写带宽大约是5 to 18 Mbits/秒。 我们的测量数据：在格林尼治标准时间下午7点到10点，从英国 剑桥大学到中国北京的平均网络带宽大约是1.8 Mbits每秒。 由于广域网物理距离的原因，不可避免的时延也会对带宽造成 影响。例如，一个T3链路（44.736 Mbits/秒），当时延超过 40ms时，其带宽很快就下降到与T1链路（1.544 Mbits/秒）相 当。

What matters most to the computer designers at Google is not speed but power – low power, because data centers can consume as much electricity as a city.


虚拟机通过软件来模拟具有完整硬件系统功能的、 运行在一个完全隔离环境中的完整计算机系统。 优点： 提高资源的利用率。多个操作系统可以同时存在 和运行于同一个物理平台上（在单个服务器上有 可能同时运行数百个虚拟机器）。 有效隔离操作系统和资源。虚拟机中的操作系统 崩溃后恢复比较容易，并不会对同一个物理平台 上的其它操作系统造成影响，而且比较容易实现 操作系统的数据重放和回滚。
冯· 诺伊曼架构

计算机由控制器、运算器、存储器、
输入设备和输出设备五大部分组成。

基本原理：存储程序（stored program
）并按地址顺序执行。

控制器按照程序顺序，逐条把指令和 数据从存储器中取出并加以执行，自
动完成由程序所描述的处理工作。

以计算为中心
云环境架构
服务器
网络设备 存储系统
----Eric Schmidt, CEO, Google
Microsoft数据中心
微软在美国芝加哥 的数据中心.总面积 为70万平方英尺。 即使只启用半数服 务器,能耗也达到30 兆瓦。
美国华盛顿州Grand Coulee水坝是世界第三 大混合电力水坝，供电 量是650万千瓦。
Microsoft在水坝边上建 一个有10个沃尔玛商店 那么大的数据中心。

简单计算

基于以上的测试数据，如果假设网络带宽为20 Mbits/秒，从美国伯克利大学传输10TB数据到西 雅图需要45天的时间

如果通过亚马逊（S3）来进行该数据传输，需要 另外向亚马逊支付1000美金的网络传输费用。
云传输可能的解决方案




云环境必须是地理上分布的，因为云的成功在很大程度上决 定于其规模效应。 计算和存储相对便宜，然而，由于广域网环境下的低带宽、 高延迟和较高的丢包率，使得广域网成为云环境下那块最短 的木板。 图灵奖获得者Jim Gray 在2006年就指出在广域网上处理大数 据集时，应该将程序传给数据，而不是将数据传给程序。 另外，通过数据压缩、数据的去重等方法来减少网域网上的 数据传输流量，降低对网络带宽的需求。采用动态缓存、IP 流量管理以及QoS等方法来降低广域网的延迟。 但是，这些方法只能在一定程度上来缓解网络瓶颈问题，不 能从根本上解决问题。因此，在设计云架构时，必须要考虑 广域网的带宽、延迟和包丢失率所带来的影响。
机遇



大部分企业IT基础设施的利用率只有 35%. 还有许多企业的IT资源利用率不到 15%（IDC报告）. Google的数据表明其绝大部分服务器的 利用率在10%到50%之间。 Why? ?? 突发性的数据访问行为 。
推动力



摩尔定律。商用化的组件组成的电脑其 性能已足以支持多个操作系统的并行运 行。 虚拟机技术的复苏（出现在上世纪70年 代，并主要用在IBM 360的大型机中） 利用商用化的计算机组件来构造云环境 利用虚拟机技术来实现计算资源的按需 分配。
挑战2：元数据



元数据是描述数据的数据，主要用来反映地址 信息和控制信息，通常包括文件名、文件大小、 时间戳、文件属性等等。 在文件系统的操作中，超过50%的操作是针对 元数据的. 另有研究指出，使用NFS 3.0时，其 客户端和服务器端交互的信息中65%的信息是 和元数据相关的。 元数据是小的随机请求。
新型存储体系结构


将网络引入存储系统，改变主机与外部存储节 点间的连接模式，产生了若干新型存储体系结 构： 直接联网存储（ Direct attached storage , DAS ） 附网存储（network attached storage , NAS） 存储区域网(storage area network , SAN)。 存储系统必须要从少数的存储引擎向连在网络 上的成千上万的商用化存储设备进行转变。
挑战1：名字空间

存储器空间的组织和分配，数据的存储、保护和检索都依 赖于文件系统。 文件系统由文件和目录构成文件系统的树形层次化结构。 包括集群文件系统。 当数据的访问从树根走向树叶的时候，访问的延迟会响应 的增加。如果不知道文件保存位置，必须遍历整个目录。 还有两个重要的因素导致树形架构不适合于云存储环境： （1）树根本身就是一个单一失效点，而且很容易形成系 统的瓶颈。 （2）树形架构很难在Internet上扩展到地理上分布的规模。 云存储只有采用非集中式的名字空间来避免潜在的性能瓶 颈和单点失效。
数据量


数据爆炸性增涨 (2006,161 EB;2011,1800 EB;年增长率达到60%. IDC报告)。 数据中的绝大部分将存储 在世界各地的大型数据中 心。
GB-TB-PB-EB
IT基础设施能耗




2005年,美国新建立的数据中心需要消耗的能 量=加利福尼亚州所消耗能量的10%（大约 5GW），约40亿美金。 英国的1500个数据中心每年消耗的能量和英国 第十大城市莱卡斯特所需要的能量相当。 2010年，英国单个数据中心每年在能量上的花 费达到大约740万英镑。 计算机集群系统由于采用商用化部件，其能耗 问题更为突出。
服务模式



根据实际需要通过定制或租用的方式使用基于 Web的软件来完成所需的工作。 将应用和计算机资源包括硬件和系统软件包装成 服务，通过按需付费（pay-as-you-go）的方式， 穿越Internet来满足用户各种不同的需求。 用户可以不再需要购买昂贵的计算机系统，不再 因为需要短时间使用某个软件而不得不购买该软 件的使用版权。 云计算通过虚拟化技术，通过资源整合，实现按 需资源分配。提高资源利用率，同时降低用户的 设备投入和使用成本。
一个典型的虚拟机环境
虚拟机技术的问题


虚拟机技术最初使用在IBM 360的大型机 中。大型机中往往采用专门的通道来来 保证外部设备的访问和性能。 将该技术移植到基于商用组件的X86环境 下，由于缺乏专用的通道和通道处理机 来应对I/O访问，虚拟机环境下的I/O问 题已经成为当前虚拟机系统中面临的最 大问题。
三种典型的存储系统
直连存储 附网存储 存储区域网
存储需求
科学计算
生物医学
石油勘探
航空
航天
云存储理想架构



在过去的十多年中集群网络的重要进展之 一是可以将成千上万的节点连起来，同时 保证高可扩展性和相对较低的通讯开销。 采用商用化的技术来构造可扩展的集群是 云存储的基本组件。 搭积木的形式来聚合存储组件。
云存储:磁盘驱动器
磁盘是一种机电混 合设备。 在过去的十多年中， 磁盘的区域密度、 轨密度和线密度分 别获得了100%, 50% 和 30% 的增 长。
磁记录技术
存储的角色演变


数据的增涨导致了以“计算”为中心到以 “数据存储”为中心的的观念革新。 存储领域的两个重要转折点： 并行存储。比如磁盘阵列技术（RAID）。 网络存储。NAS,SAN
杀手级的应用



任何一项新技术或者新的服务模式的成功，往往是 因为其出现在恰当的时间，并且有合适的外因和内 因来推动。 杀手级的应用（WWW——互联网）。 云计算之历史渊源：
元计算（Metacomputing）、普适计算（pervasive computing）、 按需计算（On demand computing）、效用计算（Utility computing）、 自主计算（Autonomic computing）、网格计算（Grid computing）等等。
传统的计算机系统中：应用程序通过 系统调用产生异步I/O操作后直接返回。 待I/O操作完成后会产生中断给操作系 统，并将I/O操作产生的数据交给应用 程序。

虚拟机环境下：第二个域的应用通过系统调用产生异步I/O，进入管理程 序（Hypervisor），该管理程序将该I/O操作转给第零个域，然后返回到第 二个域的操作系统（异步I/O）和上层应用程序。此时第零个域的操作系 统将进行实际的I/O操作。待I/O完成后，会产生一个虚拟中断给第零个域 的操作系统，该操作系统给虚拟化软件发出相应的虚拟中断。待虚拟化软 件完成I/O后，会给第零个域的操作系统返回一个系统调用来唤醒第二个 域的操作系统，然后虚拟机管理程序将I/O完成的中断交给第二个域的操 作系统，最后将I/O操作产生的数据交给第二个域中的应用程序。
什么是云计算




一种新的服务模式。按服务类型大致可 分： 将基础设施作为服务（Infrastructure as a Service, IaaS）、 将平台作为服务（Platform as a service, PaaS） 将软件作为服务（Software as a service, SaaS）。