当前位置:
文档之家› 大数据背景下的IT系统性能优化解决方案
大数据背景下的IT系统性能优化解决方案
应用
应用及提交
活期结息
TRACE
优化,测试,结果确认 应用及提交
执行时间 (优化前)
执行时间 (优化后)
提升倍数
11,000秒
1,132秒
9.7倍
3,714秒
415秒
8.9倍
应计利息
TRACE
优化,测试,结果确认 应用及提交
个人活期余额 清单
TRACE
优化,测试,结果确认 应用及提交
4个存储过程中包含了22个存储过程,21个包,平均性能提升
8
性能优化解决方案-项目实施案例
通常项目的执行周期为6-8周,2-3人,约60-80人天
9
性能优化解决方案-性能监控
服务节点请求阻塞情况
服务节点 很慢的请求很多
10
性能优化解决方案-SQL优化策略
<= Clark > Clark
<= Ford > Ford
<= Hunt > Hunt
Allen 0007 Clarke 0003
账户管理系统
XX系统
源代码
Java程序 C++程序 其它语言
1
AP#
静态SQL
应用数据库
对象结构 (表,字段,索引等)
SQL及执行计划缓存
SQL Trace文件
2
IDO
动态SQL,数据库对象
Repository
338132张表, 87558个索引, 每表平均1.5~2.5个索引 共338个表使用了分区 27,068个无PK,UK,FK的表,836个无效索引 执行次数和解析次数超过5,000次的SQL 485个 154个重复索引,211个5列以上的组合索引 10015个SQL语句,全表扫描或全索引扫描3957个,比例40%
阶段1
硬件和操作系统 采购
阶段2
应用软件
阶段3
优化、运帷
阶段4
数据分析
阶段5
应用软件
企业信息系统运行现状
套装 软件
企业核心系统
定制 开发
外包1 外包2
…
CPU经常性100% OOM而宕机 Disk I/O持续高位
月末效应:系统响应停顿或者 经常性宕机
每天业务高峰期系统变慢 业务人员无法在正常工作时间
执行时间 (优化前)
1580.81秒 85.87秒
446.38秒 121.02秒
42.78秒 36.52秒
„„
执行时间 (优化后)
0.41秒 10秒 0.5秒 0.5秒 0.1秒 5秒
„„
提升倍数
3855.6倍 8.6倍
892.8倍 242倍 428倍 7.3倍 „„
平均性能提升
2313.56秒
16.51秒
性能优化解决方案-数据模型优化
13
类型
内容
PROC_DRU_MAIN(183分钟)
批处 理业
务
PROC_ICP_CYCLE_MAIN(61分钟) PROC_GLINTACCRUAL(34分钟)
RDP_PPBAL(8分钟)
汇总
业务内容
存款每日利率 变更
执行信 息搜集
TRACE
优化及测试
优化,测试,结果确认
Davis 0002 Ford 0005
Green 0006 Hunt 0008
Jones 0004 King 0001
性能优化解决方案-构建战略索引
应用程序
Trace File
分析工具: IDO
数据字典 SQL语句 执行计划 统计信息
SQL语句 执行计划 统计信息
搜集器 解析器 结构化
Repository (知识库)
性能优化解决方案-售前案例
系统审计解决方案
系统审计解决方案-案例
南方电网某省公司,今年来一直在进行旧系统的升级工程,“南网6+1工程”,大部分的 系统都是由各个外包开发公司承建,南网IT没有一直寻求一套,“黑盒变白盒”的测试和质量管理 工具,Jennifer的成功应用,真正站在了甲方角度,帮助客户进行IT的审计和质量评估。
搜集SQL,解析获得ACCESS PATHS, 构建战略索引
编写审 计报告
提出优 化建议
接受审 计任务
清空数据 库SGA
当前 审计流程
功能测 试
人工审 计
SGA SQ L抓取
当前审计流程缺陷
1)自动化程度低,人工消耗多。 2)人为分析不够全面,不够彻底。 3) 仅是增量审计,无法实现全样审计。
4)优化建议不够客观。 5)无审计指标,主观性强。
0.26
05 回修单审核
xxx
5
85.67
0.25
06 库存日志分析**
xxx
2
40.48
7.50
07 工程更改单审核**
xxx
2
11.29
0.21
08 采贩入库单查询
xxx
1
4.50
0.01
09 物料收发事务汇总
xxx
2
320.89
64.31
10 领料出库单查询**
xxx
2
210.50
15.35
11 库存调拨单审核**
IDO 工具
优化工程师
输出报告: Excel
战略索引设计的目的:
1. 以表为单位全局考察访问该表的所有SQL语句、数据量及执行计划 2. 全局调整Index,确保所有的SQL都有正确的索引使用,从而大大提高SQL执行效率 3. 合适的索引数量,既可以确保DQL SQL的查询效率,也可以确保DML SQL的性能 4. 准确的Index结构,从而能够确保Oracle制定正确的执行计划
Thank you
完成工作,苦不堪言 后台批处理运行时间越来越长
系统不出事就好,很难进行 业务扩展
运帷人员如屡薄冰
进行针对性或者全面的性能优化和管理是问题解决之道!
性能优化方法论
系统参数优化
改进执行计划
INDEX & SQL优化
数据模型 & 应用改造
效果比重: >10%
-- OS系统参数调整 -- 调整服务器内存分配 -- 调整磁盘IO -- 调整资源竞争 -- 合理安排任务调度
战略索引
IDO
通过工具+服务的方式,对IT系统进行全面的监控、分析、优化,从而实现300%提升的承诺!
性能优化解决方案-项目实施方法
输入 执行步骤
待优化功能
+ 系统
AWR
APM
IDO
清单
数据
问题诊断 和分析
构建战略索引
>
优化TopSQL
>
优化应用程序
系统性能管理体系
数据库运维体系
效果
1)系统运行平稳,客户重点关注的性能问题得到缓解和解决 2)建立初步的IT性能监控和管理机制,有效预防由于系统扩张带来的性能恶化
342.68 5.40
53.76 450.00
4.99 13.71 2084.00 14.06 1350.00
5.90 0
32.72
新建 索引数
2 8 1 1 1 1 0 0 1 10 0 2 0 1 0
28
性能优化解决方案销售策略
性能优化 解决方案
卖给谁
系统出现严重性能问题的客户,比如:数据量太大结不了帐,报 表十几个小时算不出来,系统业务高峰时,经常卡死,甚至宕机
2,083秒 483秒
17280秒
670秒 79秒 2296秒
3.1倍 6.1倍
6.95倍
类型
联机 交易 业务
内容
xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL xxxx_SQL
„
汇总
优化方案
优化索引,改变执行计划 优化SQL语句和索引,改变执行计划 改变表连接方式,优化索引,改变执行计划 优化索引,改变执行计划 调整索引结构,改变执行计划 改变SQL语句,调整索引,改变执行计划 ......
卖什么
服务:
1)卖项目:根据系统规模 2)卖人天:5-7K元/人天
工具:
1)APM:性能监控工具 2)IDO:索引优化工具
怎么卖
销售“三板斧”
1)承诺性能300%提升,否则不收费 2)进行POC:让客户提供关键功能或者SQL进行现场优化
性能优化解决方案特点:客户需求明确,短平快,成果好衡量,应作为重点销售内容进行推进
大数据背景下的IT系统性能优化解决方案
大数据时代后的IT架构演变
2
市场 VS 现实
市场
TB、PB级别的数据量 大量的非结构化数据
NOSQL数据库 分布式集群
„
3
现实
90%的企业核心数据<1T 90%的数据还是结构化数据
90%的企业选用Oracle 90%的服务器是IBM Power小机 90%采用了EMC/IBM的独立存储 个别企业/行业开始尝试NoSQL数据库,
效果比重: >30%
-- 定期搜集统计信息 -- 定期执行索引重构 -- 定期执行表重组 -- 有效调整优化器参数 -- 修正优化器版本 -- 合理采用hint方言
效果比重: >50%
-- 使用非过程化处理方式 -- 构建最佳索引 -- 执行计划最优化 -- 灵活应用局部范围扫描 -- 最优化表连接顺序 -- 灵活使用复合处理方式 -- 灵活使用分区和并行处理
生成审 计报告
提出优 化建议
接受审 计任务
新 审计流程
AP#从代 码自动搜 集SQL
功能 测试
工具根据指 标自动审计
IDO从SGA 搜集SQL