收稿日期:20151106作者简介:张君艳(1985-),女,工程师,主要从事电力信息化相关工作㊂大数据平台在电力企业中的应用张君艳1,董 娜1,彭 伟2,郭禹伶1(1.国网河北省电力公司电力科学研究院,石家庄 050021;2.华北电力大学,北京 102206)摘要:大数据具有规模大㊁种类多㊁变化速度快㊁价值巨大但密度低的特点,大数据应用就是利用数据分析的方法从大数据中挖掘有效信息,为用户提供辅助决策,实现大数据价值的过程㊂从大数据的定义㊁特征及其平台三方面宏观介绍大数据技术研究现状,在此基础上分析大数据技术在电力企业中的应用,以电力信息通信客户服务系统中工单事件统计为例,展示了大数据平台的应用过程㊂关键词:大数据;平台;H a d o o p;统计中图分类号:T P 27;T P 14 文献标志码:B 文章编号:10019898(2016)01005303A p p l i c a t i o no fB i g D a t aP l a t f o r mi nE l e c t r i cP o w e rE n t e r pr i s e Z h a n g J u n y a n 1,D o n g N a 1,P e n g W e i 2,G u oY u l i n g1(1.S t a t eG r i dH e b e i E l e c t r i cP o w e rR e s e a r c h I n s t i t u t e ,S h i j i a z h u a n g 050021,C h i n a ;2.N o r t hC h i n aE l e c t r i cP o w e rU n i v e r c i t y ,B e i j i n g 102206,C h i n a )A b s t r a c t :B i g d a t ah a s t h e c h a r a c t e r i s t i c s o fV o l u m e ,V a r i e t y ,V e l o c i t y a n dV a l u e .B y t h em e t h o d o f d a t a a n a l y s i s ,t h e a p pl i c a -t i o n s o f b i g d a t a c a nm i n em a n y u s e f u l i n f o r m a t i o n .A n d t h i s c a n p r o v i d e a u x i l i a r y d e c i s i o n -m a k i n g fo r u s e r s ,w h i c h c a nm a k e t h e v a l u e o f b i g d a t a c o m e t r u e .A n o v e r v i e ww a s g i v e n a b o u t t h e c u r r e n t s i t u a t i o n o f b i g d a t a f r o mt h r e e a s pe c t s :t h e d ef i n i t i o n ,f e a t u r e ,a n d t h ek e y t e c h n o l og y o f b i g d a t a .Th e n ,a s u mm a r y o f t h e a p p li c a t i o no f t h eb i g d a t a t e c h n o l o g y i ne l e c t r i c p o w e r e n -t e r p r i s ew a s d e s c r i b e d .F i n a l l y ,t a k i n g t h e e v e n t o r d e r s t a t i s t i c s i n c u s t o m e r s e r v i c e s y s t e mf o r e x a m p l e ,t h i s p a p e r s h o w s t h e a p p l i c a t i o no f b i g da t a p l a t f o r m.K e y w o r d s :b i g d a t a ;p l a t f o r m ;H a d o o p;s t a t i s t i c s 随着云计算㊁物联网㊁移动互联网等新兴信息技术的飞速发展,网络上的信息呈现出爆炸式增长,并且这种增长速度还在不断加快[1],这些信息既包含人的,也包含各种物的㊂国际数据公司(I D C )报告[2]称,2011年全球被创建和复制的数据总量为1.8Z B (1Z B ʈ1021B ),在短短5年间增长了近9倍,而且预计这一数字将每2年翻一番,而且这个速度在2020年之前会继续保持下去,人类真正进入了一个数据的世界㊂大数据这一术语正是产生在全球数据爆炸增长的背景下,用来形容庞大的数据集合㊂如今,工业界㊁学术界甚至政府部门都对大数据产生了浓厚的兴趣㊂1 大数据的概念与特征大数据是一个涵盖多种技术的概念,是由数量巨大㊁结构复杂㊁类型众多数据构成的数据集合,无法使用传统数据工具进行采集㊁处理㊁分析和管理的数据集,既包括传统结构化数据,也包括文本㊁图像㊁视频和音频等非结构化数据㊂一般意义上,大数据是指无法在有限时间内用传统I T 技术和软硬件工具对其进行感知㊁获取㊁管理㊁处理和服务的数据集合㊂大数据具有数据体量巨大(V o l u m e)㊁数据类型多(V a r i e t y )㊁数据流动快(V e l o c i t y )和数据潜在价值大(V a l u e )等 4V 特征㊂大数据的 大 主要体现在两个方面:一是数据集 大 到一定程度,可全面表现数据所描述的对象的特征或某种规律;二是数据的规模和复杂程度 大 到传统数据工具无法处理分析㊂大数据除了数据量庞大外,大数据还有一些其他的特征,这些特征决定了㊃35㊃V o l .35N o .1 河北电力技术 第35卷第1期F e b .2016 H E B E IE L E C T R I CP OW E R2016年2月网络出版时间：2016-03-07 14:38:09网络出版地址：/kcms/detail/13.1082.TM.20160307.1438.036.html大数据与 海量数据 和 非常大的数据 这些概念之间的不同㊂2大数据平台介绍大数据平台中应用最为广泛的是H a d o o p㊂H a d o o p是由A p a c h e基金会开发的分布式系统基础架构,是一个处理大规模数据的软件平台,如图1所示㊂图1 H a d o o p组件框架图1中,F l u m e和S q o o p分别是做数据采集, H D F S㊁H B a s e㊁H i v e则是分布式数据存储㊁数据仓库,M a p R e d u c e㊁S p a r k㊁T e z分别做离线㊁在线㊁流程计算,M a h o u t主要是做数据挖掘㊂H a d o o p具有海量存储(能够处理P B级别的数据)㊁成本低㊁高效率和可靠性等特点[3],用户可以在不了解分布式底层细节的情况下开发分布式程序,主要包括2个核心功能:H D F S(H a d o o p D i s t r i b u t e dF i l eS y s t e m)和M a p R e d u c e㊂H D F S 是分布式文件系统的简称,有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序㊂M a p R e d u c e是一种编程模型,用于大规模数据集(大于1T B)的并行运算㊂概念 M a p(映射) 和 R e d u c e(归约) 的主要思想都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性㊂H a d o o p极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上㊂当前的软件实现是指定一个映射函数,用来把一组键值对映射成一组新的键值对,指定并发的归约函数,用来保证所有映射的键值对中的每一个共享相同的键组㊂H D F S为海量的数据提供了存储,则M a p R e d u c e 为海量的数据提供了计算功能㊂开源技术H a d o o p可以提供相对廉价的分布式的存储系统,通过M a d R e d u c e的技术,进行并发㊁高效能的计算㊂大数据引擎基本上完成是存储和计算,但真正的存储计算结果还要与传统的业务系统和其他应用来使用㊂它主要有以下几个优点㊂a.高可靠性,H a d o o p按位存储和处理数据的能力值得人们信赖㊂b.高扩展性,H a d o o p是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中㊂c.高效性,H a d o o p能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快㊂d.高容错性,H a d o o p能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配㊂e.低成本,与一体机㊁商用数据仓库等数据集市相比,h a d o o p是开源的,因此项目的软件成本会大大降低㊂3电力大数据及其应用价值电力企业正在建设以特高压电网为骨干网架各级电网协调发展的智能电网,势必会产生大量结构多样㊁来源复杂的数据,为大数据提供了充足数据源,因此近年来电力企业对大数据这一研究领域产生了浓厚的兴趣㊂通过对大数据技术的深入理解,结合电力企业数据现状和业务需求,提出 电力大数据 的概念[4]:电力大数据是以业务趋势预测㊁数据价值挖掘为目标,利用数据集成管理㊁数据存储㊁数据计算㊁分析挖掘等方面核心关键技术,实现面向典型业务场景的模式创新及应用提升㊂电力大数据主要分为生产类数据和管理类数据,涉及到发电㊁输电㊁变电㊁配电㊁用电㊁调度等各环节,其应用的核心价值主要体现在以下2个方面㊂a.将数据视作人财物一样的企业核心资产,通过复杂的关联分析,让数据创造新的价值,提升精细化管理水平,促进管理方式和商业模式创新,典型应用有配网精细化管理㊁防窃电预警㊁业务运营监测和用电信息增值业务服务等㊂b.将大数据技术应用于智能电网发㊁输㊁变㊁配㊁调㊁用六大环节,通过技术变革,优化电网生产方式,提升生产效率,推动智能电网创新发展,典型应用有电力负荷预测㊁新一代智能变电站㊁营配㊃45㊃调一体化和用电信息采集等㊂另外,在电力公司 S G186 和 S G E R P 工程建设过程中,电力信息化领域也蕴含着海量数据,这些数据包括主机设备㊁网络设备㊁安全设备㊁终端设备及信息系统等在长期运行的各个环节累积的巨量日志信息,门禁㊁U P S㊁空调㊁电源㊁温湿度等机房设备及视频监控系统产生的大量数据,某电力公司信息客服热线2186产生的大量语音数据及信息通信客户服务系统中的工单记录信息等,面对每天还在不断地产生的信息数据,需借助大数据平台对这些数据进行分析和处理,从而挖掘其中的价值[5]㊂4大数据平台的应用目前电力行业中正在逐步开展大数据应用技术,以下以统计公司信息通信客户服务系统中工单情况为例展示大数据平台的应用过程,如图2所示㊂统计问题是最简单也是最能体现M a p R e-d u c e思想的程序之一,其主要完成功能是:统计一系列文件中不同数据出现的次数㊂图2信息通信客户服务系统工单统计界面在测试环境下(1台主机,8台从机),搭建了包含9个节点的小型集群,集群环境及界面如图3所示㊂图3集群界面利用已搭建的集群对客户服务中心中导出工单进行统计,运行结果如图4所示㊂从运行结果可以看到,大数据平台进行M a p的时间为4586m s,进行R e d u c e的时间为4535m s㊂经统计发现,在导出的事件工单文件中出现图4运行结果频率最高的前6类事件类型分别为E R P系统㊁计算机事件㊁生产管理系统㊁其他㊁协同办公系统和目录系统,结果如图5所示㊂利用大数据平台可以快速准确的统计出文件中出现频率最高的字段,并自动生成结果展示㊂图5出现频率最高的前6类事件5结束语大数据技术是未来信息社会发展的一个大方向,大数据应用是通过数据分析的方法从大数据中发掘潜在价值,具有重要的研究意义和实际价值㊂利用大数据平台可以快速准确的统计出所设条件的结果,并自动生成结果展示㊂电力企业利用好大数据平台这一数据分析和挖掘技术手段,充分地分析企业信息数据资源,从而可以为电力用户提供更优质的服务㊂参考文献:[1]肖广娣,凌云.大数据时代信息安全分析[J].电脑知识与技术,2013(9).79377938.[2] G a n t zJ,R e i n s e lD.E x t r a c t i n g v a l u e f r o m c h a o s[R].I D Ci V i e w,2011:112.[3]林清滢.基于H a d o o p的云计算模型[J].现代计算机,2010,7:114115.[4]唐瑞伟.电力大数据应用现状及发展前景[C].中国电力企业联合会科技开发服务中心,电力行业信息化优秀论文集2014--2014年全国电力行业两化融合推进会暨全国电力企业信息化大会获奖论文,2014.[5]许海清,黄敏.浅谈电力大数据对信息运行的影响[J].江苏电机工程,2015(3):6264.本文责任编辑:王洪娟㊃55㊃。