浙江移动云计算和大数据实践
IDC资源池:承载IDC业务(公有云),上层管理平台由华为负责开发
资源池管理平台(华胜天成) 资源池管理平台(东信北邮) 资源池管理平台(华为)
支撑资源池 (业务支撑+管理支撑系统)
物理资源
网管资资源池 (网管支撑+业务平台)
物理资源
IDC资源池
物理资源
以大数据资源池管理平台为核心整合,形成企业统一资源池管理平台
云计算技术-核心特征和价值
云计算起源于亚马逊EC2产 品和谷歌-IBM分布式计算 项目 云计算是个人PC、互联网之 后的第三次IT浪潮 云计算主要核心特征
• 资源共享 • 按需自助 • 集中部署 • 弹性伸缩
云计算核心价值-降本增效、高能可靠
• 快速部署--聚焦业务,支撑业务 • 集中、共享、弹性、标准--有效降低成本 • 分布式计算和存储—提升性能和可靠性
PaaS资源池化 控制标准化
后续大幅度提升和进阶
的阶段。
浙江支撑云建设路线
相当程度上实现真正意义的数据中心级“大云”不是梦! 只要有决心有思路抓紧干,
我们的管理差距在哪里?
用反云的方式建设云
• 云平台建设和应用云化改造不分:应用视角的竖井式云化建设 多,云平台自身建设考虑少。所谓系统的云化变成了应用的竖 井化改造,能力未能沉淀和积累,事实上形成新的竖井。应用
云计算应用
计算
弹性计算 BC-EC
存储
对象存储 BC-oNest 弹性块存储 BC-EBS
网络
BC-vNetwork
资 源 层
2014年商用产品
2015年商用产品
2015年试点产品
技术服务层重IaaS轻PaaS 最关键的核心云构件层基本缺失 管理上的大云,技术上的小云
应用的快速部署开通受到极大制约 只能实现虚机层弹性伸缩,效果极其有限,严重影响资源的充分动态调度,降本增效
云计算驱动企业IT架构演进
企 业 IT 架 构 演 进
“烟囱”式IT系统架构
资源池化、云化IT架构
打破竖井、应用和平台解耦 打破供应商绑定 加强企业自身核心能力掌控 敏捷建设、聚焦支撑业务 统一管理建设运营,提升运维效率、提升资源利用率,降低TCO ……
云计算技术-服务分层
云计算包括以下三个层次的服务: • IaaS(Infrastructure-as-a- Service):基础设施即服务。消费者通过Internet可设施获得虚 拟计算、网络和存储资源,比如Amazon AWS。 • PaaS(Platform-as-a- Service):平台即服务,指将软件研发的平台作为一种服务,比如 Google的AppEngine为企业和个人提供完整的开发、运行和部署的环境和工具。 • SaaS(Software-as-a- Service):软件即服务,通过Internet提供软件的模式,用户无需购 买软件,而是向提供商租用基于Web的软件。如Google提供的Gmail、Apps、搜索等。
分布式操作系统-小变大之谜
由于纵向拓展可优化空间太小(单台服务器的性能上限很明显),分布式系统强调横向扩展、 横向优化,当分布式集群计算资源不足时,就要往集群里面添加服务器,来不停地提升分布式集 群的计算能力。分布式系统要做到统一管理集群的所有服务器,屏蔽底层管理细节,诸如容错、 调度、通信等,让开发人员觉得分布式集群在逻辑上是一台服务器。真正意义的大云必须真正实 现数据中心级的弹性伸缩,俗称小变大。 和单机Linux操作系统相比,分布式系统和单机Linux一样要解决五大类操作系统必需的功能, 即资源分配、进程管理、任务调度、进程间通信(IPC)和文件系统
阶段5:控制标准化,核心特征是实现资源管理的数据中心集中化和动态化,俗称小变大。
是我们发展的终极目标。可以真正实现大云。
中国移动云计算平台典型架构存在的明显缺失
运营管理
运营管理 BC-OP 资源池管理 BCCloudmaster 云计算安全 BC-Security
(公众服务云,企业私有云,混合云)
云计算技术-核心技术
云计算是分布式计算、并行计算、分布式存储、数据管理、虚拟化、负载均衡等 技术发展融合的产物
云计算最核心的技术是 -- 并行计算
并行计算的基本思想是:用多个处理器协调求解同一问题。即将被求解问题分为 若干部分,各部分均由一个独立的计算单元来并行处理,处理完成后,将结果进 行处理后返回用户
阶段4:PaaS资源池化。核心特征是标准化的、集中的和动态的集群级调度管理,同时实 现了PaaS服务的标准化。资源管理仍然是静态的,分散的,但调度管理实现集中化、标 准化、动态化
将标准化的技术服务能力从应用层转移到PaaS平台层,从应用云化走向应用上云。这是我们近期很现实的一 个发展方向。尽管不能大幅度提升弹性伸缩范围,但可以解决云化能力的标准化和能力沉淀,可以极大降低我们对 供应商的依赖,提升核心能力掌控。本阶段云将进化到了高级中云。
浙江公司云计算发展阶段的自我定位
传统孤岛
对数据中心内 部整体目标架 构没有统一的 规划设计
标准化
标准化的硬件和 软件体系 业务基础架构建 设以月为单位
IaaS 资源池化
应用资 源池化
PaaS 资源池化
控制标准化
通过核心云构件 实现进程级资源 共享 业务基础架构建 设以小时为单位 实现数据中心级 弹性伸缩
分布式协调技术:应用无状态、应用名字集中管理、应用部署在线化。资源管理在线
化的前提恰恰是实现应用的无状态化
身边的云-阿里云
技术服务
飞天: 核心云构件
标准硬件身边的云-Fra bibliotek里云主要技术服务解构
IAAS服务-ECS、VPC、OSS
大致对应网络、I、E、虚拟机等基础设施的标准化、服务化、虚拟化
PAAS服务:ACE、MQS、RDS、DRDS、SLB、ODPS、
通过虚拟化实现 共享的基础架构 业务基础架构建 设以周为单位 实现虚拟机级弹 性伸缩
通过服务化实现 共享的平台架构 业务基础架构建 设以日为单位 实现集群级弹性 伸缩
孤岛
X86化
虚拟化
服务化
智能化
简化
降低风险 降低运营支出
(IT领先的银行) (领先互联网公司) (浙江公司) 高效 灵活 统一
关键要素:资源管理、调度管理
阿里云的启示-“大云”的技术生态圈
弹性伸缩
一个好汉:分布式调度
资源管理 调度管理
三个帮:负载均衡、轻量级虚拟化、分 布式协调
虚拟化技术
分布式调度技术
负载均衡技术 分布式协调技 术
重量级虚拟化 技术 轻量级虚拟化 技术
分布式调度和分布式协调是最难 实现的两个技术服务
负载均衡技术:前端应用引流的标准化(调度服务一般可自行实现后台任务的调度) 轻量级虚拟化技术:资源隔离轻量化,资源生成敏捷化
云化只是一个过渡性的概念,必将被基于PaaS资源池化 和EPaaS化的应用上云概念取代
• 用自上而下的方式管理云的投资
• 云平台整合化程度有限:资源池越多,资源利用率越低,建设 运维效率越低,云计算的效果越不能有效发挥
新时代的新竖井
问题很明显,后果很严重
云平台能力弱,应用上云难度大:大多停留在IaaS级,PaaS和核心云构件层严 重缺失,反过来导致应用云化改造代价大,不少应用仍长期停留在传统架构上 资源利用率,TCO管理水平与互联网公司差距仍然很大:CPU平均利用率明显低 于互联网公司 ;较高虚拟化软件License成本(1-1.5w/CPU),较低的整合比 应用快速部署开通,有效支撑业务能力有限:简单的IaaS云最多做到日级基础集 成,考虑PaaS和应用集成时间动辄周级,先进互联公司可以做到平台分钟级, 应用小时级 技术架构七国八制 资源池起不到能力储备作用,竖井式集成仍属常态,应用部署速度难以提升
降低资本支出 提高敏捷性 全面优化
大云不是梦
1-3阶段往往是结合在一 起的,可视为一个大阶 段,也是我们目前所处 的大致阶段。 浙江支撑已经开始初步 实践阶段4,规划和技术 验证阶段5,这将是云的
X86化
小型机 时代
2009年以前
2009年至今
2011年至今
2015年开始
IaaS 资源池化 应用资源池化
资源池
• 截止2015年5月,支撑系统共有服务器3XXX台,其中X86服务器2XX X台。 • 支撑资源池共计604台X86服务器,共部署843个虚拟机,采用Vmware虚拟 化技术搭建
• 截止2015年5月,共完成72个系统迁移至支撑资源池
云化系统
• 2011年已完成CRM Web和APP的云化改造 • 计划8月底前完成计费账务系统云化改造 • 目前系统云化比例为43.56%,计划至年底前系统云化比例提升至60%
阿里云的启示-云的进化论
阶段1:X86化。核心是硬件标准化,是云的原始积累 阶段2:IaaS资源池化。核心特征是虚机级资源管理、调度管理和IAAS服务标准化,俗称 大变小。 阶段3:应用云化也可以叫做应用资源池化。核心特征是集群级资源管理、调度管理。但 这种管理都是私有化的、静态的
一方面是有积极意义的可视为云的进化,从小云进化到低级中云。一方面它的局限性太大,仍然是应用级的竖 井,不能跨应用弹性伸缩,云化能力不能被标准化和共享,这一点在技术角度和管理角度(供应商依赖和甲方核心能 力掌控)有着深远的负面影响!
深度参与集团公 司去IOE试点项目
争取集团内去IOE工作的绝对领先地位
目录
第一部分 云计算与团队建设成果
第二部分
背景和问题
第三部分
技术发展跟踪和思考
第四部分
浙江支撑云建设蓝图
第五部分
建议与思考
困惑与问题(一)
资源池CPU利用率为什么提不高? 小型机能云化吗?去I以后小型机如何投资保护?