超融合架构解读超融合可以说是目前业内最大的热点之一,大型厂商和创业公司纷纷投身其中。
不过,与从业者的津津乐道相比,超融合的广大目标用户却对其缺乏足够的认识,甚至一些IT专业人士也还不知超融合究竟为何物。
因此,在华为公司的支持下,企事录从即日起开设“FusionCube超融合大讲堂”,以每10天左右一期的节奏连载,帮助您深入了解超融合的方方面面。
本文作为开篇,先来说说超融合是什么……近几年来,超融合系统的热度越来越高,各种打着超融合旗号的公司和产品如雨后春笋般涌现,令人眼花缭乱,也引发了很多困惑:究竟什么是超融合系统?与融合系统是什么关系?一体机又是怎么回事?最关键的是:超融合有什么用?回答了之前的问题,也就不难理解了。
基本概念与分类无论从中英文的字面意义来理解,超融合(Hyperconverged)都应该是在融合(Converged)之后发展起来的——如果要分类,前者应该属于后者的一支。
IDC和Gartner也是这么认为的,虽然在细节上有所区别。
譬如,Gartner似乎很喜欢Integrated(集成)和Infrastructure(基础设施)这两个词。
大的分类上,IDC所谓Converged Systems(融合系统),Gartner称为Integrated Systems(集成系统)。
IDC与Gartner对融合系统的大致分类(注:随时间推移略有变化)IDC将融合系统(Converged Systems)分为三类,前两类——集成系统(Integrated Systems)和认证参考系统(Certified Reference Systems)——主要是供应商构成不同,技术成分上基本没有区别,都是由服务器硬件、磁盘存储系统、网络设备供应商和基本构件/系统管理软件组成的供应商认证的预集成系统。
Gartner也有对应的分类,分别称为集成基础设施(Integrated Infrastructure)系统和参考架构(Reference Architecture)系统,合称融合基础设施(Converged Infrastructure,CI)。
简单的说,就是看这套系统是否由一家厂商提供。
VCE的Vblock由VMware虚拟化、思科服务器和网络设备、EMC存储系统组成,但VCE在EMC旗下,所以Vblock属于“集成”(系统或基础设施),而思科与NetApp合作的FlexPod则属于“参考“(认证系统或架构)。
Gartner还比IDC多一个分类,即集成堆栈(Integrated Stack)系统,可以理解为集成基础设施系统加上应用软件,如Oracle的Exadata数据库一体机,在IDC的定义里仍属于集成系统。
超融合系统(Hyperconverged Systems)是后起之秀,与上述(传统的)融合系统最大的区别,就是有能力用同样的服务器硬件资源提供所有的计算和存储功能。
换言之,在超融合系统中,不需要专用的存储子系统(如磁盘阵列)——但在必要时,也可以有(如JBOD)。
Gartner习惯将超融合称为HyperConverged Infrastructure(HCI),和其他几种分类一样在后面加上System,即HCIS。
HCI和CI是被业界引用较多的两个缩写。
超融合系统与之前的融合系统相比,最大的区别就是以(与应用软件一起)运行在标准(x86)服务器硬件中的软件定义存储替代了传统的SAN存储系统,不仅华为(Huawei)、惠普(HPE)等服务器大厂积极推出相应的产品,还催生了以Nutanix、SimpliVity为代表的一大批初创公司。
市场态势与趋势无论哪种融合系统,存储都是其中的重要组成部分。
今年3月底,IDC公布的2015年第四季度及全年的全球融合系统追踪报告显示:2015年第四季度,通过融合系统出货的存储容量新增1547PB,同比增幅达26.9%。
然而,存储不一定非要以相对独立的“存储”(系统)的形式存在,超融合系统的快速崛起正代表了这种需求转移。
IDC认为:一些倾向于低平均售价的市场需求,驱动从传统融合系统转向超融合系统;大部分增长来自中端市场,主要流向了超融合系统。
其结果是,该季度在整个融合系统市场收入同比增长8.5%的大背景下,超融合系统的增长率高达170.5%。
目前,超融合系统在整个融合系统市场中所占的比例还不够大,但正如上面所显示的,高速增长的势头有望迅速抹平差距。
Gartner预计,超融合系统今年的增长率为79%,市场规模将从(2016年的)近20亿美元增长到2019年的约50亿美元,在融合系统市场占比达四分之一(24%),并在2020年成为数据中心的主流。
难道说,从传统的融合系统到新兴的超融合系统,就是个存储的故事?当然不止于此,整个过程体现出“计算为主导,存储为区分,软件为核心,网络是未来”的发展轨迹。
融合系统的诞生融合系统是硬盘时代走向尾声时的产物。
众所周知,硬盘(驱动器)的随机I/O性能很差,而企业的关键业务应用如Oracle数据库需要很高的IOPS,以VMware为代表的服务器虚拟化则将原本可能是顺序访问的操作变成了随机访问,服务器内置的少量硬盘根本无法满足性能需求。
外置磁盘存储系统可以将数百乃至上千个硬盘聚合在一起,输出较高的I/O性能,并通过SAN(Storage Area Network,存储区域网)被多台服务器共享。
既然服务器内置硬盘的I/O性能几乎可以忽略不计,不如专心提高计算密度和集中管理。
所以,2005年前后,伴随着VMware虚拟化的兴起,刀片式服务器和存储行业都获得了快速的发展。
刀片式服务器集成了高速的网络,将不同的计算节点(服务器刀片)连接在一起,这可以说是一种(计算与网络的)融合。
但这显然不够,因为在企业应用环境中,刀片式服务器高度依赖SAN存储设备(外置磁盘阵列)。
所以,一个完整的解决方案通常包括了服务器、SAN存储和异构的网络——SAN主流的FC(Fibre Channel)网络与服务器常用的网络技术(以太网和InfiniBand)有着很大的不同。
刀片式服务器集成的网络模块或功能强大的交换机可以减少设备的种类,却仍要面对管理的复杂性。
于是,不仅采购部署的周期长,后期的服务也经常要面对多家供应商。
在这种情况下,由单一供应商提供包括服务器、存储、网络在内的预集成、预验证的完整解决方案,就形成了融合系统,这方面的典型代表是VCE。
2009年11月初,思科(Cisco)、EMC和VMware联合发起虚拟计算环境(Virtual Computing Environment,首字母分别对应三家公司名称)联盟,英特尔(Intel)也有投资。
联盟于2010年推出用于构建私有云的Vblock基础架构包,由思科的服务器和网络设备、EMC的存储、VMware的vSphere 虚拟化套件组成。
面向虚拟化应用的融合基础设施2011年1月,VCE联盟演变为同名的公司。
2014年10月,EMC掌握了公司的控制权,并于2016年初将VCE并入其融合平台部门(Converged Platform Division)。
思科也不想一棵树上吊死,早就与EMC 的竞争对手NetApp合作了FlexPod。
如前面所说,同样用途的融合系统,Vblock属于集成系统或集成基础设施系统的分类,FlexPod则要划入认证参考系统或认证架构系统的分类。
融合系统简化了用户的采购、部署、管理、服务等环节,而厂商也多了一种卖存储产品的方式。
除了EMC 和NetApp,惠普、IBM、戴尔(Dell)等服务器厂商把自家的存储产品“融合”在一起,HDS这样相对独立的存储厂商也可以与母公司日立(Hitachi)的服务器产品相结合。
▲融合基础设施简化了系统安装和业务部署的过程,但传统SAN存储的扩展性和性能问题没有解决,管理性也没有得到根本的改进从技术角度,融合系统只是服务器、SAN存储和网络设备的组合,一体化交付,尽可能的“开箱即用”,只要三者搭配得当,理论上什么类型的应用都可以很好的支持。
不过,在实际应用中,融合系统的一大主战场是虚拟化应用,如服务器虚拟化和VDI(Virtual Desktop Infrastructure,虚拟桌面基础架构)。
常见的情况是,中小型应用环境采用机架式服务器与中低端存储的组合,大型应用环境则是刀片式服务器加高端存储。
融合系统活跃的另一大应用领域在数据库市场,即我们常说的数据库一体机。
向超融合系统演变数据库一体机的典型代表是Oracle Exadata,其问世时间还要早于VCE及Vblock。
2008年9月下旬,Oracle在其年度大会(OOW)上宣布推出基于惠普x86服务器硬件的数据库一体机“HP Oracle Database Machine”,一个完整的机柜系统包括8个数据库节点和14个Exadata存储服务器(Cell),全部预装Oracle Enterprise Linux,采用InfiniBand互联。
数据库节点运行Oracle 11gR1和Oracle RAC(Real Application Clusters,真正应用集群)。
一年之后,已经完成对Sun收购的Oracle,推出基于Sun x86服务器硬件的Exadata数据库一体机(Oracle Exadata Database Machine),Exadata不再只是存储服务器的名字,而是Oracle所谓Engineered Systems(工程系统)家族中最早的成员。
不论Vblock还是FlexPod,都提供了预集成、“开箱即用”的全套解决方案,简化了部署和后续管理,帮助用户更快的构建私有云。
但是,其各大组成部分只是“粘合”在了一起,而没有真正的融合:服务器还是服务器,存储还是存储。
Exadata则不太一样。
Exadata仍然有专门的存储节点,其最初就因基于x86硬件的存储服务器而得名。
但是,Exadata的存储服务器并不是SAN存储设备,没有专用的存储网络,计算和存储节点之间统一使用高速的InfiniBand(IB)互联。
消灭网络的异构不是主要目的,而是Exadata一开始定位在注重带宽的OLAP(On-Line AnalyticalProcessing,联机分析处理)应用,带宽可以随存储节点的加入获得近乎线性的扩展,即横向扩展(Scale-out)——传统的SAN存储设备为纵向扩展(Scale-up)架构,带宽和处理能力受限于存储系统控制器的上限。
▲ Exadata仍然有相对独立的存储设备,但是这些被称为Cell的存储服务器采用分布式存储,组成横向扩展架构为了进一步提高效率,减少不必要的数据传输,Exadata采用Oracle独有的Smart Scan技术,即利用存储节点具备的一定计算能力,将简单的查询下发到存储节点上执行,只返回少量结果数据。