农商银行新一代综合柜面业务系统性能测试报告(doc 29页)北京农商银行新一代综合柜面业务系统性能测试报告性能测试计划文档编号保密等级作者最后修改日期审核人最后审批日期批准人最后批准日期修订记录目录1测试简介 (1)1.1项目背景 (1)1.2测试目标 (1)1.3测试范围 (1)1.4性能测试指标要求 (2)2测试方案 (3)2.1压力模型 (3)2.2交易选择 (4)2.3测试脚本 (5)2.4资源监控 (6)2.5测试场景 (7)3测试环境 (9)3.1网络拓扑图 (9)3.2软硬件配置 (9)3.3测试工具 (12)4测试实施情况 (12)4.1测试时间和地点 (12)4.2参加测试人员 (13)4.3测试实施进度 (13)5测试结果 (14)5.1基准测试 (14)5.1.1测试结果145.1.2分析图表145.2并发测试 (15)5.2.1测试结果155.2.2分析图表166数据分析 (33)7系统评价 (35)8测试遗留问题 (35)9附录 (36)9.1性能测试记录表 (37)9.20210交易处理脚本 (37)11.1项目背景为解决原有字符终端柜面系统不能处理非线性数据(如图像)的缺陷、解决业务中的柜员离柜问题,并对交易前端的功能性梳理和整合,北京农商银行将实施现有字符终端向图形终端的改造,实施新一代综合柜面业务系统项目。
在新一代综合柜面业务系统全面推广上线前,需要对新系统平台进行性能测试,获取系统的并发处理能力、交易响应时间等性能指标。
1.2测试目标本次性能测试的测试目标为:➢获取新一代综合柜面业务系统在测试环境中的性能指标数据➢发现性能瓶颈,协助开发人员进行性能调优,对系统上线提供性能建议和评估1.3测试范围新一代综合柜面系统的架构示意图如下图所示,图中红线虚框为本次性能测试的范围,包括ABS处理平台的后台应用服务器和数据库服务器。
1.4性能测试指标要求2测试方案2.1压力模型本次性能测试采用如下的简易压力模型:➢通过LoadRunner模拟图形终端各柜员向ABS平台发起交易压力➢通过测试环境中的核心业务系统响应柜面交易请求2.2交易选择根据和开发组的沟通,选择如下前端处理比较复杂的典型交易:2.3测试脚本根据上述的系统架构示意图,通过LoadRunner的Socket协议录制柜面前端向柜面系统应用服务器发起的柜面交易,发现Socket 交互次数(一组send和receive算一次交互)特别多(0210交易51次Socket交互),而且脚本回放时报接收报文长度不匹配错误。
新柜面系统开发组提供了一个测试用的Jar 包,将图形前端ABC和后台应用服务器ABS之间的通讯过程进行了封装,通过解析描述型的交易数据文件后向后台提交交易,为此,使用LoadRunner的Java协议,测试脚本中通过调用Jar包中的对象提交柜面交易。
使用此测试脚本方案暂时也有如下缺点:➢无法实现交易数据的参数化➢脚本中只能定义各柜面交易执行全过程的长事务,无法对交易中各阶段进行分解分析(比如页面控件响应时间、交易提交响应时间、打印响应时间等)➢测试脚本中无法获取交易执行结果:交易提交后不返回响应特征码,从测试脚本中无法判断交易执行的情况,需要分析后台日志文件或数据库流水表分析交易是否成功(性能测试交易量巨大可能会引起大量的交易结果分析工作量)➢LoadRunner统计分析数据失真(因失败交易也当成成功交易进行统一分析)2.4资源监控根据压力测试模型,本次性能测试需要监控如下主机的一些性能指标数据:❖新柜面系统应用服务器主机(Linux操作系统)✓C PU – CPU Utilization(CPU使用率%)✓M emory –Paging rate(内存页交换速率)✓I/O – Disk Traffic(磁盘交换速率)❖新柜面系统数据库服务器主机(AIX操作系统)✓C PU – CPU Utilization(CPU使用率%)✓M emory –Paging rate(内存页交换速率)✓I/O – Disk Traffic(磁盘交换速率)❖LoadRunner控制器和压力产生器主机(Windows XP操作系统)✓C PU–% Total Processor Time(总的CPU使用率)✓M emory – Available Mbytes(物理内存的可用数,单位 Mbytes)✓M emory – Page Faults/sec(页面错误导致的页交换计数)✓I/O – %Disk Time(磁盘驱动器读写请求已用时间所占百分比)主机资源指标数据监控的方法:➢优先通过LoadRunner进行监控➢通过操作系统内部指令(如top、vmstat等)2.5测试场景设计如下类型的测试场景:➢基准测试:获取系统处理各典型交易在无压力情况下单笔交易的耗时,为并发场景提供一个基本数据参考。
➢并发测试:检验服务器端对每个典型交易多个并发用户的处理能力,获取系统处理性能指标值。
各测试场景设置信息如下:注:根据全行柜面终端数约2800的统计数据,最大并发数为终端数的10%~15%(经验值),选择最大300并发的场景。
33.1网络拓扑图本次性能测试环境的网络拓扑图如下:(其中核心系统使用测试环境中的172.16.12.6主机)LR3.2软硬件配置3.3测试工具4测试实施情况4.1测试时间和地点时间: 2011年10月08日— 2011年10月21日地点:北京农商银行空港办公区3楼测试机房4.2参加测试人员参加本次性能测试的人员包括:➢王鹏:测试经理,性能测试总体协调➢高伟:开发组支持,测试脚本录制和调试➢王晓华:性能测试专家,制订方案、指导测试➢王时磊:性能测试工程师,测试工具、测试场景准备、测试执行4.3测试实施进度5测试结果5.1基准测试5.1.1测试结果使用测试工具LoadRunner运行测试脚本,统计出测试结果如下(TPS、ART、CPU%均为平均值):在无压力的情况下,0210(个人客户信息建立)的平均交易响应时间为418ms,其中该交易包括如下完整的交易处理过程(可参见附录2中0210交易处理脚本):➢输入交易码后,获取Frame框架显示内容➢各输入场输入数据时与后台系统的交互➢提交交易,获取核心系统返回结果5.1.2分析图表测试工具LoadRunner Analysis的TPS图表:测试工具LoadRunner Analysis的ART图表:5.2并发测试5.2.1测试结果使用测试工具LoadRunner运行测试脚本,统计出测试结果如下(TPS、ART、CPU%均为平均值):编号场景名称并发用户数交易总数成功交易数失败交易数交易成功率TPS(笔/秒)ART(秒)应用服务器CPU %数据库服务器CPU %1 BF_0210_10_10m 10 11,451 11,451 0 100.00% 19.0 0.524 12.9% 3.4%2 BF_0210_20_10m 20 15,532 15,532 0 100.00% 25.7 0.779 17.5% 6.4%3 BF_0210_30_10m 30 15,967 15,966 1 99.99% 26.4 1.136 18.2% 7.3%4 BF_0210_40_10m 40 15,987 15,987 0 100.00% 26.4 1.497 18.0% 7.7%在并发场景时,出现了如下两种交易失败导致交易成功率不高:1)并发数达到50时,ABS交易流水表出现记录状态为"x"的记录(未收到核心系统对交易的处理结果),并发数为10、20、30、40时基本正常2)并发数达到100及以上时,ABS交易流水表中记录数小于LoadRunner 中记录的实际发送的交易笔数(部分交易数据丢失,未发往核心系统)另外,从表中可以看出:➢在当前测试环境配置下,新柜面系统的最大处理能力约为40tps➢在50并发时,0210交易的平均交易响应时间为1.452秒➢在各并发场景下,应用服务器和数据库服务器的CPU占用率均不高5.2.2分析图表❖场景BF_0210_10_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_20_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_30_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_40_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_50_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_100_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_150_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_200_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_250_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线❖场景BF_0210_300_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线6数据分析对并发场景,根据不同并发数对主要性能指标(TPS、ART、CPU%)进行图表分析如下:从图中可以看出:➢随着并发用户数增加,TPS缓慢增加。