新形态、新应⽤、新价值企业迎来新数据时代数据及存储发展研究报告2内容⽬录2019年中国迈⼊新数据时代元年...................................1.11.21.3新数据时代的特征分析...............................................2.12.22.32.4新数据时代的应⽤和存储发展....................................3.1⽅案3.23.33.4告别⼈⼯⼲预,存储将进⼊智慧运维时代IDC建议 (03)0813192019年中国迈⼊新数据时代元年Array31.1⽆处不AI,第三平台加速向智能创新迈进新数据时代下,创新的IT技术和应⽤是企业实现数字化转型的关键。
IDC在2007年提出了第三平台的概念,将整个IT发展分为三个阶段,第⼀阶段是以⼤型主机为主的时代,第⼆阶段是PC互联⽹时代,第三阶段是以云计算、⼤数据、移动和社交⽹络为核⼼的时代。
在不同的阶段,⽤⼾规模和应⽤种类都呈现出爆发式增⻓,发展⾄第三平台,应⽤数量达到百万级规模。
第三平台发展到2019年,已经从初始的独⽴试点创新阶段,发展到基于平台和⽣态的倍增创新阶段,并逐渐向智能创新阶段迈进。
⼈⼯智能将会进⼀步加速其在⾏业维度的渗透,⽬前已经在互联⽹、智慧城市、智慧⾦融等领域实现相对⼴泛的应⽤,未来五到⼗年内,将继续向其他⾏业扩展,从⽽产⽣诸如制造⾏业的QC⾃动化、零售⾏业的⾃动结账、电信⾏业的智能⽹络服务、医疗⾏业的辅助诊断等⾏业应⽤场景。
为了实现这些应⽤,不仅需要海量数据的⽀持,还需要软硬件协同,尤其是以计算存储为核⼼的基础架构的⽀撑。
IDC预测,未来五年⼈⼯智能市场年复合增⻓率将达到44.9%,整体经济规模将达到175亿美元,其中基础架构占⽐超过50%,成为实现⼈⼯智能应⽤的重要平台。
1.2数字化转型推动企业数据增⻓随着企业数字化转型的快速发展,数据将继续呈现海量增⻓的趋势,数据的来源和结构也越来越复杂多样,基于数据的新产品、新模式、新体验不断涌现,数据成为企业最重要的资产之⼀。
IDC将超过70⼤类的设备产⽣的数据归纳为四个类别,分别是⾮娱乐图像、娱乐数据、⽣产/嵌⼊式数据、语⾳。
▶⾮娱乐图像包括由视频监视摄像机、照相⼿机、⽆⼈机、数字扫描仪、多功能⼀体机(MFP)和医学成像设备等产⽣的数据。
▶娱乐数据包括来⾃数字电视、⼴播、电影(包括流媒体)、视频⽹站和其他⽤⼾创建的视频和图像,以及视频游戏和⾳乐等设备产⽣的数据。
▶⽣产/嵌⼊式数据包括由PC、⼯作站、服务器、超级计算机和其他传统企业硬件产⽣的数据,以及由嵌⼊式系统如⾃动取款机、家庭互联设备、物联⽹、传感器、可穿戴设备等创建的数据。
▶语⾳包括⽹络电话(VoIP)和移动电话产⽣的数据。
根据IDC预测,未来五年,娱乐数据依然是最主要的数据创建类型,⽽来⾃⽣产/嵌⼊式数据,例如物联⽹、⼈⼯智能使⽤和创建的数据具有更⾼的增速,其占⽐将由2018年的15.3%增⻓到2023年的30.8%。
随着⽣产/嵌⼊式数据的快速增⻓,IDC预计,2019年,企业创建的数据量将超过消费者所创建的体量,占整个数据圈的53.4%(IDC数据圈是⼀种衡量在任何给定年份中创建、捕获或复制多少新数据的⽅法)。
451.3需求和挑战并存,企业改变迫在眉睫企业的需求和挑战进⼀步驱动了数据时代的发展,在新数据时代下,企业的IT转型将更加紧迫,IT供应商需要为各⾏业的转型提供助⼒。
IDC通过分析数据在⾦融、交通、电信、能源、制造、医疗等代表性⾏业的发展现状和痛点,发现新数据时代下企业主要在数据海量增⻓,数据实时和可靠性以及数据整合及管理三⽅⾯⾯临挑战。
数据海量增⻓-在数字化转型的推动下,企业每年产⽣的数据量将继续保持⾼速增⻓,这将对存储设备供应商带来巨⼤挑战,但同时也提供了发展机遇。
通过IDC调研发现,存储介质和存储设备供应商在2018年为全球增加了超过700EB的数据存储容量,创造了超过880亿美元的收⼊。
预计2018-2023年,全球存储装机容量将以18.4%的年复合增⻓率增⻓,2023年的存储装机容量将达到11.7ZB,其中企业级存储装机容量将达到25.1%的年复合增⻓率,与2018年相⽐增幅超过3倍,远⾼于个⼈存储容量5.9%的年复合增⻓率。
从全球存储介质来看,预计增⻓最快的存储介质是固态硬盘(SSD),未来五年的其年复合增⻓率将达到44.0%,远⾼于整体存储装机容量18.4%的年复合增⻓率。
在中国,从企业级外置存储市场来看,全闪存阵列得益于其较⾼的市场价值,从2015年⾄2018年市场出货价值快速增加,2018年迎来增⻓峰值,总市场规模达到5亿美元。
鉴于更多的技术升级,如⽀持端到端的NVMe,IDC认为2019年全闪存阵列仍会保持较⾼增⻓,2019年第⼆季度预测显⽰,中国全闪存存储阵列市场将实现52.3%的同⽐增⻓,达到7.6亿美元。
从全球存储设备类型来看,2017年,企业级存储系统已经取代PC和平板电脑,成为总体容量最⼤的存储设备;预计2019年,企业级存储系统的装机容量同⽐增⻓率达32.9%,远超总存储装机容量17.1%的同⽐增⻓率;2021年,企0%40%20%60%90%10%50%80%30%70%100%201820202022201920212023生产/嵌入式数据图1全球四大类型数据趋势概览,2018-2023年来源:IDC,2019非娱乐图像娱乐数据语音业级存储系统的装机容量将占⼀半左右的全球存储装机容量;到2023年该⽐例将继续增⻓,预计将达到56.2%。
此外,预计到2023年,视频采集存储占⽐将达到10%左右,并有望在2023年之后超过PC和平板电脑,成为仅次于企业级存储的的第⼆⼤存储市场。
在中国,已被市场⼴泛接受的分布式存储系统,在未来五年将保持23.2%的年复合增⻓率。
数据的可靠性和实时性-未来⽆论是企业还是个⼈都对数据产⽣了更⼤的依赖。
数据作为未来企业最重要的核⼼资产之⼀,保证数据存储的可靠性成为⼀种必要,尤其在诸如⾦融、电信、医疗等与⺠⽣关系密切的⾏业。
为了实现数据存储的安全可靠,未来存储设备的容灾和冗余机制必不可少,避免因⾃然灾害、设备损坏等意外引发的数据丢失是企业数字化转型的重要诉求。
6数据整合及管理-为了满⾜数据实时性需求,企业迫切地需要将基础架构扩展到边缘,边缘将成为数⼗亿个端点和核⼼基础架构之间关键的中间节点。
随着数据部署⽅式越来越复杂多样,企业对于不同环境的数据整合及管理将提出更⾼的要求。
IDC预测,到2023年,将有42.4%的企业采⽤边缘+核⼼的组合架构⽅式。
从数据产⽣的⻆度分析,核⼼、边缘和端点产⽣的数据总量都在增⻓,其中⼤部分数据由端点产⽣,⽽边缘产⽣的数据量具有较⾼的增速,未来五年复合增⻓率预计达到33.2%。
作为全球数据圈重要的⼦集,云端产⽣和存储的数据⼀直在快速增⻓,企业对云的依赖不断增加。
通过整合软件定义基础架构和云服务,企业在满⾜其对于计算、存储和⽹络等⽅⾯的需求有了更⼴泛的选择,在对数据安全性、可扩展、可管理、成本效应、存储性能和存储空间等需求的综合考量下,混合云和多云将成为未来企业的主流选择。
预计,2019年⽤于⽀持云基础架构的硬件⽀出将超过传统IT基础架构,占⽐将达到52.9%。
未来,如何利⽤软件定义架构将混合云、多云服务标准化,将复杂部署环境中的数据充分整合、管理、分析和应⽤,将成为企业关注的重点之⼀。
20182019202020222021202342.4%47.4%52.9%53.3%55.6%57.6%80160401202010018060140$B虽然数据的产⽣更多来⾃端侧和边缘,但最重要的数据存储位置依然在核⼼。
IDC预计,2019年,存储在核⼼的数据同⽐增⻓将达到32.9%,远超存储总量17.1%的增速;到2022年,核⼼存储占⽐将达到47.6%,超过边缘存储成为最⼤的数据存储位置;2023年核⼼数据中⼼的数据存储容量将超过边缘存储和端侧存储的总和,占⽐达到总量的50.4%。
图3全球数据产生及存储位置趋势概览,2018-2023年全球云IT基础架构硬件支出趋势预览,2017-2022年来源:IDC,2019端侧存储核心存储端侧创建核心创建边缘创建边缘存储60%70%50%40%30%20%10%0%0%40%80%20%60%100%10%50%90%30%70%在数据发展的推动下,企业逐渐迈⼊新数据时代。
新数据时代场景将向企业提出关键需求及挑战,体现出四⼤特征:新数据形态、新部署环境、新应⽤模式以及新价值需求。
新数据时代新数据形态:海量、多元和非结构化成数据常态新部署环境:基础架构向云-边-端演进,多云、数据管理成为企业关注重点新应用模式:应用场景逐渐细分,个性化存储解决方案需求上升新价值需求:创新存储技术和架构将助力数据价值释放新数据时代的特征分析图5新数据时代场景四大特征来源:IDC,浪潮,201982.1新数据形态:海量、多元和⾮结构化成数据常态随着终端设备技术的发展,⽹络承载能⼒的提⾼,云-边-端计算环境的应⽤,诸多⾏业领域产⽣了⼤量不同类型的数据,这对数据和信息的存储提出新的需求。
以影像采集为例,诸如交通、医疗、制造等⾏业领域在不断扩展其对⾼清影像的应⽤,在产出⼤量4K、8K视频、上亿像素的⾼清图⽚作为数字⽣产材料的同时,还需要越来越⼤的存储空间。
另外,随着互联⽹与通信、⼈⼯智能、物联⽹、云计算/边缘计算等技术的发展,更多的“事物”正在链接,万事万物都可以被记录并⽤数据来表达。
由于数据出处具有环境多样、复杂等特点,分布在多个平台和地理位置的数据被以不同的⽅式采集与传输,数据从单⼀内部⼩数据形态向多元动态⼤数据发展,⼤量⽂本、图⽚、视频等⾮结构化数据被产⽣和存储,同时也需要更加先进的IT技术和架构来对数据进⾏采集、存储和利⽤。
IDC预测,未来五年,⾮结构化数据将拥有更⾼的增⻓率,在整体数据圈的占⽐也将持续增加。
企业在数字化转型进程中,将越来越多地采⽤多云环境以及边缘计算部署,这样的计算和存储环境也使得数据更加多样,数据采集、存储和利⽤的复杂性再次叠加。
为了解决数据海量、多样性和价值挖掘等⽅⾯的挑战,闪存、分层存储、分布式存储等先进的存储技术和架构未来仍具有较⼤发展空间。
在智慧城市这⼀典型数据产⽣场景中,城市交通⼲道安装的⼤量的视频监测卡⼝不间断地采集地⾯交通数据,便于交管部⻔进⾏管控和信息服务。
据统计,每个视频采集设备每天需要采集⾼清影像超过万张,百台视频采集设备每天需要存储的数据量已达到TB级别。
中国的摄像头保有量已经达到亿级,加之交通系统往往会存储相当⻓时期内的历史数据⽤于查证和回溯,由此产⽣的海量数据给存储系统容量带来不⼩压⼒。