基于查询重写的SQL到Hadoop映射技术
提高原有存储过程型应用向云平台的迁移效率，降低实现成本
I/O敏感代价模型驱动的并行方案优选技术
动态选择SQL在Hadoop环境下的最优并行方案
集群资源感知的自适应分区技术
根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平
基于混合多维索引的大数据查询技术
低压用户表
16224247
低压表记表
22590221 18476053
低压测量点表 终端资产
17954341 2600453
统计低压日电量 6906656585 低压测量点表
17954341 低压历史数据异常
615803
低压数据异常表
854964
5
性能验证
四个查询任务涉及表和记录数：1.57亿 条
P码 用户明细表 上报任务数据主表
1351 46741659
910439
用户 终端资产
2645 225288 910106
280480 2550507
台区线损统计
62931052
P码
2645
单位级别关系
1351
G_TG
634564
6
低压用户电量计算
Oracle 平台
大数据平台 143.7亿
191min
8. 基于大数据的红外图像分析及故障识别 9. 基于大数据的输电线路在线监测 10. 基于大数据的客户管理全面监测 11. 基于大数据的智能用电应用 12. 基于大数据的客户全面感知分析 13. 基于电网可靠性的配网投资策略研究
11
背景
• 短期电力负荷预测主要是指预报未来几小时、1天至几天的电力负荷，短期负荷预测不但为电 力系统的安全、经济运行提供保障，也是市场环境下编排调度计划、供电计划、交易计划的基 础。
台区线损分析明细查询
批量抄表查询
Oracle 大数据
10
5.547
0.281
采集质量检查明细查询
1. 大数据关键技术研究 2. 基于大数据的短期符合预测 3. 基于大数据的供电可靠性分析 4. 基于大数据的低电压分析 5. 基于大数据的重过载分析 6. 基于大数据的变电设备故障预测 7. 基于大数据的二次设备风险评估
时
间
50 min
67 12.5
0 min
数据完整率之公变今日电量
87 18
低压数据完整率计算
190
Oracle
大数据
12
低压用户电量计算
9
查询任务验证对比
6s
5s 查 询 4s 所 3s 用 时 2s 间
1s
0s
查询性能对比
3.547
1.109 0.344
采集覆盖明细查询
1.485
0.328
0.203
数据完整率明细临时表
333390 153193115 66257003
9071
公变用户计量点 公变终端测量点
公变任务表
统计终端用户表
228991 250975 112821
838885
停电统计表 终端资产 系统单位代码
24151795 2600453
1320
2）低压数据完整率计算（116.1亿）
低压任务表 低压表记表 上报低压数据主表 终端资产
1)采集覆盖情况明细
用户明细表 终端资产
224140 2315773
单位级别关系 P码
1351 2630
用户数
269803
单位代码
1320
2）采集数据质量检查
上报数据完整率明细 用户数 终端资产
3)批量抄表数据查询
单位级别关系 低压数据
上报任务数据主表
4)台区线损分析明细
69259714 280357 2547680
12min
低压用户电量计算：191 min
12 min（实际运行23分钟）
7
采集质量检查明细查询
Oracle 平台
大数据平台
5.547s
281ms
采集质量检查明细查询：5.547s
0.281s
8
计算任务验证对比
250 min
计算性能对比
200 min
计
算
所 150 min
消
耗 100 min 的
性能验证
性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条 记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理 性能情况。
三个计算任务涉及表和记录数： 1)公变数据完整率之今日电量计算（2.47亿）
上报公变数据台功能
大规模数据上多维索引 和即时查询
独特的并发控制机制 完善的多数据兼容和应
用平滑迁移工具 独特的运行时优化 支持Oracle SQL的自
动化映射
3
核心技术创新点
开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际， 进行大量实用化研发和优化完善工作。
优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务
基于装箱模型的并发计算任务工作流的智能规划技术 的综合执行效率
基于交叉Hash校验的数据一致性保障技术
为准实时的多数据源之间的数据一致性保障提供技术支撑
负载敏感的数据ETL并发度按需调节技术
根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用 4
1903834 18476053 22590221 2600453
低压测量点表 低压用户表 上报低压电量数据表
17954341 16224247 7374570544
统计低压数据完整率 系统单位代码 停电统计表
4134600916 1320
24151795
3)低压用户电量计算（143.7亿）
上报低压电量数据表 7374570544 上报低压数据主表
电力大数据关键技术及应用研究 精简版
南瑞埃森哲
1. 大数据关键技术研究 2. 基于大数据的短期符合预测 3. 基于大数据的供电可靠性分析 4. 基于大数据的低电压分析 5. 基于大数据的重过载分析 6. 基于大数据的变电设备故障预测 7. 基于大数据的二次设备风险评估
8. 基于大数据的红外图像分析及故障识别 9. 基于大数据的输电线路在线监测 10. 基于大数据的客户管理全面监测 11. 基于大数据的智能用电应用 12. 基于大数据的客户全面感知分析 13. 基于电网可靠性的配网投资策略研究
突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率
基于组合存储的并行读写优化技术
实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂 分析语句的运行性能
基于改进多版本机制的DML增强技术
提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、 Insert、Delete等语句的运行效率