云平台资源优化调度报告1.项目的立项依据1.1.研究背景及意义云计算的出现改变了企业的发展模式，通过创新以及扩展IT能力，从而为企业带来了更多的商机。

云计算是由大量不同的计算机资源，包括计算服务器、存储服务器、宽带资源等通过分布式系统和虚拟化技术，将所有资源看做是一个资源池，进行统一的管理和调度，然后通过需求分配计算、存储和其他服务给相应客户[1]。

云中的资源都是通过虚拟化后再交付给用户使用，但是虚拟化只是实现云计算的一项关键技术而已，它实现了应用软件与物理硬件的松耦合。

但只有虚拟化技术是远远不够的，如何对池化的资源进行合理高效的调度，才是实现云计算的关键。

在云环境下，其资源的规模较大，因此对云资源的调度是一个复杂的过程。

云平台上的资源调度相对而言还处于初始发展阶段，在这个领域里比较成熟的系统并不多。

因此云平台上的资源调度仍有待进一步的研究。

在传统的平台管理模式下，每个平台和系统都需要部署相应的硬件资源，从而导致所需的硬件设备众多，能耗大且资源利用率低下，同时，基础设施的建设以及设备的维护等成本支出较大。

云计算的出现很好的解决了传统平台所出现的问题。

在云环境下，通过虚拟化技术，将所有资源看做是一个统一的资源池，实现了基础设施的统一管理，有效地降低了设备管理成本，并以资源共享的模式，根据企业业务需求自动调整资源分配。

目前，云计算技术还在起步阶段，并且具有十分广阔的应用前景。

在云计算的相关技术中，其核心技术就是资源管理。

它主要的功能就是接受来自云计算用户的资源请求，然后将特定的虚拟资源分配给资源请求者。

近几年，出现了很多关于合理分配池资源（计算、存储、网络和服务等）的相关研究，其研究重点主要包括池资源分配的自适应性、安全性、公平性以及高效性等方面的优化设计。

在现有的研究工作中，有许多可借鉴之处，但要满足复杂的云计算应用提供的SLA，仍不够完善，存在着进一步优化的可能性。

1.2.国内外现状研究近几年，云计算已成为IT行业以及学术领域的研究热点。

这部分就云资源调度方面所做的研究进行了总结，同时对资源负载均衡相关算法进行了比较分析和总结。

云资源调度技术是云计算中的关键技术，通过对资源的动态可伸缩调度来满足负载峰谷对资源的需求进行动态分配，从而提高整体资源的利用率，这对云数据中心具有十分重要的意义。

在弹性云服务的领域中，亚马逊EC2采用了以虚拟机为单位的粗粒度的方法，根据用户需求来增减运行的虚拟机数量，从而达到及时响应负载变化的目的。

通过此方法能够满足负载自适应的虚拟资源伸缩能力，但是，以虚拟机为最小伸缩单位的调度方式，存在着一定程度上的资源耗费。

针对上述调度方式所存在的缺点，涌现出了一些关注于细粒度的动态虚拟资源伸缩模式的学术研究。

ZHAO Weiming[2]等人通过预估每台虚拟机的内存使用量，然后据此来自动调整没存分配大小，从而提高内存资源的使用率，但其中仅考虑了单一资源的分配方式。

考虑CUP、内存和网络带宽三种资源的综合优化分配，ZHOU Wenyu[3]等人提出了一种应用无关的负载均衡机制，通过实时监控物理机和虚拟机的各项资源使用情况，从而及时调整资源分配。

云计算统一并提供了在不同地域站点资源共享的能力。

云资源调度重点就是要找到资源-负载最佳匹配，这是一个繁琐的任务。

在已有文献中，很少有关于云负载能源、成本和时间约束的高效资源调度策略报告。

Singh S[4]等人提出一个高效的云负载管理框架，通过K-means，基于所分配的权重和它们的QoS需求对云负载确定、分析和集群。

基于不同的调度策略和它们相应的算法完成进一步的调度。

通过CloudSim工具包中现有的调度策略对该算法的性能进行评估。

实验结果表明相比于现有的算法，所提出的框架在能量消耗、执行成本和执行时间在不同的云负载中都能得到较好的结果。

在云环境下，由于资源利用不足而产生的能源消耗，占实际能源消耗相当大的部分。

从本质上来说，在一个资源分配策略中，提高资源的利用率也就能够更好的提高能源效率。

针对这一点，在云环境下，通过虚拟化技术可以很容易的将任务进行合并，通过任务合并来有效提高资源利用率，从而降低能耗。

Lee Y C[5]等人提出了两种能源意识的任务整合探讨方案，其目的是最大限度地提高资源的利用率，并明确的考虑到活跃和闲置两个状态下的能耗。

在该方案中，在不影响任务执行性能的前提下，将每个任务分配给能耗最小的资源上。

其实验结果表明，文献中所给出的方案在节能方面存在优越性。

在节能方面的研究中，加州伯克利大学RAD[6]实验室提出了一种关于Mapreduce优化的研究方案，方案提出了基于统计学原理的负载生成框架，通过生成的负载来评估设计的决策，这些决策包括：资源的扩展、调度、重组等[6]。

他们的研究结果表明，当Mapreduce的任务到达时，并不立即进行处理，而是将任务进行排队，用批处理的方式来完成这些任务。

在一队的任务到来的间歇期间内整个cluster可以关掉，从而达到节能的目的。

但是，这样的调度机制必须要求批处理间隙时间要比关闭和开启cluster的时间要足够长，同时需要合理的控制批处理间歇时间的长短，时间太短会导致队任务无法到达，而时间太长则会影响Mapreduce的结果。

云数据中心部署了大量的虚拟机，由于不同的虚拟化平台采用了不同的虚拟化技术而导致了虚拟资源的异构性，同时用户需求规格不一致以及云数据中心物理机规格不一致，而使得云数据中心的众多物理机的负载均衡成为一个难点。

在常见的静态负载均衡算法应用中，在Eucalyptus平台采用轮询（RR）调度算法，将虚拟机按照顺序分配到不同的物理机上，实现负载均衡[7]。

该算法的最大优点就是简单易实现，但由于物理机和虚拟机配置具有差异性，负载均衡的效果并不理想。

而加权轮询（WRR）算法用相应的权值表示服务器的处理能力，权值较大的会被分配给较多的请求，该算法被用于Vmware资源负载均衡中[8]。

由于云计算中的资源是付费使用的，而其费用的开销主要体现在使用时间上，因此对资源调度的研究在满足QoS或者SLA的前提下，尽可能的缩短任务完成时间，提高资源利用率。

在已提出的Min-Min[9]，Max-Min[10]等算法的基础上，周舟[11]等人提出了一种新的调度算法Min-Max，通过将大任务和小任务进行绑定，缩短了任务执行时间，同时改善了负载均衡问题，从而提高了整体资源利用率。

但是所提出的算法中并未考虑资源价格的问题。

2.研究目标、研究内容及已解决的关键问题2.1.研究目标（1）提高虚拟化资源的分配、调配和服务能力，根据所检测到的云应用服务对云资源的需求情况，及时回收或者重新调度、分配云系统资源，保证SLA 需求。

（2）提高虚拟化管理的资源规模伸缩能力。

云系统能够根据应用服务的资源需求、不同时段的资源使用量以及资源成本等，合理的分配云资源。

（3）提高虚拟化资源管理的可控性与可迁移性。

管理员可将云系统资源灵活分配给相应用户与硬件设备，并采用最优化算法提高云资源迁移与分配的效率，防止时间延迟与服务效率下降。

（4）通过资源虚拟化管理与调度，提高云平台运营效率并降低云系统电能消耗，实现经济、低碳的运营目标。

2.2.研究内容（1）云资源调度优化策略研究。

云计算环境下的资源调度是一个NP完全问题。

它以提高系统的整体性能，以及减少总的执行时间、资源消耗等为调度目标，按照制定的资源分配策略，将任务发送到对应的资源节点上有序执行，以期得到更好的分配方案。

在进行云资源分配的过程中，①对云资源中的虚拟资源动态伸缩模型进行研究。

达到虚拟资源弹性分配的目标，使其能够根据用户需求动态的分配资源，既能够满足用户负载高峰期的资源需求，又能降低用户负载低谷期的资源耗费。

②对虚拟机的动态迁移算法进行研究。

由于物理资源具有异构性强，规模大的特点，而导致云数据中心内物理机之间的负载不均衡，资源利用率较低，通过采用虚拟机动态迁移机制，将较高负载的物理机和较低负载的物理机上的虚拟机迁移到最佳负载的物理机上，达到负载均衡，提高系统资源利用率，同时在保证系统性能的前提下关闭部分物理机，能够降低系统能耗。

③对任务优化调度算法进行研究。

云资源分配实际上就是将各个云用户应用服务中的任务分配到异构的资源上，其最终目标就是以最优的资源分配策略实现最优的任务处理过程。

任务分配就是指将各个并行执行的任务分配到具体的资源上。

在降低任务执行时间的前提下，考虑云资源成本因素，对云资源下的任务调度算法进行研究，达到缩短任务执行时间，降低资源耗费的目标。

（2）云资源管理调度系统研究在云计算环境中，通过虚拟化技术，可将云资源划分为物理资源层、虚拟化资源层以及应用服务资源层，通过资源管理调度平台来对云资源进行管理和调度，从而满足用户服务需求。

云平台上的资源管理与调度的内容主要涉及云基础设施系统资源、云应用服务资源以及云网络系统等方面的内容，其具体可分为对云基础设施物理设备、云计算资源、云存储资源以及云数据中心内部网络等部分系统资源的管理与调度。

通过从安全性、高效性、可控性以及经济性等方面，来对云资源管理与调度的优化进行研究。

2.3.已解决的关键问题（1）指定云资源管理调度系统性能指标在一个云计算系统中，各用户对云计算服务有其各自的需求。

云资源管理调度系统在保证系统整体性能的前提下，根据用户任务具体的需求，为用户提供匹配的调度决策。

在调度系统中，一个优化的调度算法需要考虑成本、资源利用率以及负载均衡等性能因素。

（2）提高弹性化管理、调度性能云环境下，用户服务资源需求与分配始终处于动态环境中，对云资源（计算资源、存储资源及网络资源）的管理与分配的准确、合理、适用、经济性，是保证云用户服务质量与云资源安全、可靠、经济的前提。

云资源调度系统采用动态资源分配算法能够根据资源负载的动态变化过程，合理的增加或减少云资源，保证用户服务性能的同时也能够减少资源的闲置与浪费。

（3）提高资源负载均衡在云资源调度的过程中，由于用户需求的多样、动态变化以及服务器的资源异构性会导致数据中心出现负载不均衡的情况，致使一部分物理机的负载过重，效率降低，而另一部分则负载较轻而处于空闲状态。

这些问题会造成云资源大量的浪费和损失。

通过对云数据中心的资源调度过程进行优化，根据资源节点负载区间进行约束，来平衡物理机之间的负载以提高资源利用率以及系统整体性能。

（4）增强资源管理与调度安全性在云资源管理、调配中，保证云资源管理与调度模块的安全性。

利用资源监测模块来监测云数据中心资源状态，当云平台调度模块出现故障时，将因故障而停止的管理、调度任务快速迁移到其它管理节点，保证资源调度管理的不间断性。

3.研究方案3.1.云资源调度优化策略云资源调度的目标是实现云上资源的合理调度，即当用户发送资源请求时，系统能够根据资源调度算法为用户分配相应资源，既要满足用户服务质量需求，又能提高云数据中心的资源利用率，降低运行成本。