挑战:数据体量大、类型多、价值密度低,如何最大限度的挖掘数据的价值,符合经济效益原则地使用大数据。
技术方面:
优势:
国际国内主流大数据技术,主要包括以开源 Hadoop 及 HBase 系列软件为基础的相关技术,包括分布式计算框架(MapReduce)、分布式文件系统(HDFS)、分布式数据库(HBase)、云计算、数据挖掘等。
云计算核心技术包括分布式文件系统(distributed file system,DFS)和MapReduce 技术,存储量大、廉价、可靠性高,用于调度自动化系统的后台,智能电网数据中心(营销、管理和设备状态监测)
并行数据库:关系数据库(如Oracle 等)主要存储结构化数据,提供便捷的数据查询分析能力、按照严格规则快速处理事务(transaction)的能力、多用户并发访问能力以及数据安全性的保证。
劣势:
云计算可以满足智能电网监控软件运行的可靠性和可扩展性,但实时性、一致性、数据隐私和安全等方面的要求难以满足。
并行数据库数据存储容量有限、关系模型束缚对海量数据的快速访问能力、缺乏对非结构化数据的处理能力、扩展性差。
机遇:
良好的外部环境和政策支持
其产产业的技术研发带来的经验(特别是互联网技术)
大数据传输及存储技术、实时数据处理技术、异构多数据源处理技术(异构信息的整合、各类电网数据的高效管理)、大数据可视化化分析技术的研究,如:建立类似 IEC 61850或 IEC 61970 的信息互操作模型,基于HANA内存数据库的智能电表。
挑战:
(1)如何将数据组织成合理的同质结构,是大数据存储处理中的一个重要问题(2)智能电网中存在大量的非结构化和半结构化数据,如何将这些数据转化为一个结构化的格式
(3)大数据可视化化分析技术的挑战主要包括可视化算法的可扩展性、并行图像合成算法、重要信息的提取和显示等方面
安全方面:
机遇:在电力系统安全运营方面,可在利用数据挖掘技术基础上,借助分布式处理和计算技术,实时分析大量来自电力系统环境监控、工业控制等传感器网络和监视摄像等一系列监控系统数据,提高电网安全检测水平,及时发现电网故障,并给出有效解决方案,提高电网对灾难的预警和应对能力。
通过海量数据的分析帮助信息安全服务提供商更好地刻画网络异常行为,从而
找出数据中的风险点;通过整合计算和处理资源分析隐匿在大数据中攻击者的攻击痕迹,实现攻击者溯源。
挑战:数据存储安全、数据处理平台的安全监控和检测、数据灾备机制、日志管理安全性、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。
大数据技术也可能成为被攻击者利用的一种攻击手段,攻击者利用大数据技术分析窃取的数据如社交网络、邮件、微博、电子商务、电话和家庭住址等,向企业发起精准的攻击。
海量的更复杂、更敏感的数据聚集,使得这些数据极易成为网络攻击者的目标,攻击者的一次成功攻击能获得更多的数据。
社会方面:
机遇:
以数据中心为纽带,新型数据运维的成果将有可能作为一种新的消费形态与交付方式,提高用户体现价值。
这些转变将打破传统业务系统间各自为阵的局面,有利于集中优势资源,提升整体运作的效率和效果。
为坚强智能电网建设,“三集五大”体系构架提供更有力的支撑。
电力大数据与互联网数据、天气数据、经济数据、交通数据、电动汽车数据等社会数据融合,一方面促进智慧城市的建设,为用户提供便捷的电力服务;另一方面为政策制定、公共事业管理以及商业经营提供有益帮助。
有利于构建绿色、节能、环保、高效的 IT架构
节能减排、低碳环保社会的构建,树立良好的企业形象。
挑战:
信息共享,社会信息安全
参考文献:
[1]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013,37(4):927-935.
[2]吴学忠.电力行业如何应用大数据[N].人民邮电,2013-7-1(7).
[3]闫龙川,李雅西,李斌臣,赵子岩.电力大数据面临的机遇与挑战[J].电力信息化,2013,11(4):1-4.
[4]史紫薇.电力行业大数据“双轨”并行[N].中国计算机报,2013-4-8(25).
[5]丁杰.电力大数据研究及应用展望[J].电力信息化, 2013,11(2):5-6.
[6]徐建.大数据的安全分析[J].电力信息化, 2013,11(2):6-7.
[7]王春毅.电力行业的大数据发展解析[J].电力信息化, 2013,11(2):8-9.
[8]闫龙川.可视化—大数据价值的有效传递方式[J].电力信息化, 2013,11(2):10.
[9]李皎.大数据时代到来对电力行业发展提出新要求[J].华北电业,2012(4):
82-83.
[10]朱东华,张嶷,汪雪锋,李兵,黄颖,马晶,许幸荣,杨超,朱福进.大数据环境下技术创新管理方法研究[J].科学学与科学技术管理,2013,34(4), 173-180.。