当前位置:文档之家› 软件测试度量(精华)

软件测试度量(精华)

软件测试度量(精华)转至摘要:任何过程的有效管理需要量化、测量和建模。

软件度量为开发和软件过程模型的验证提供量化方法。

度量帮助组织获得继续提高生产率、减少错误和提高过程接受率、产品、服务以及达到最终目标的信息。

这份白皮书发表了度量生命周期、各种软件测试度量元、度量元元素、过程评估以及达到理想的结果。

一、业务需要在技术方面日益增加的竞争和飞跃,迫使公司采取创新的方法来评估自己的过程、产品和服务。

这种评估将帮助他们改善业务,使他们能够取得成功,并且获得更多利益和较高的市场占有率。

度量是评估的基石也是任何业务改进的基础。

二、软件度量度量是标准度量单位的量化结果。

对于评估软件过程、产品以及服务使用的度量被称作软件度量。

Paul Goodman给出的软件度量定义:软件度量是一中度量技术,这种技术应用在过程、产品和服务中用来支撑工程和管理信息,以及支持过程、产品以及服务的信息上的改进,如果需要的话。

三、度量的重要性● 度量是用来提高质量、产品生产力以及服务,从而达到客户满意度。

● 对于管理组织很容易分析数据并且深入下去,如果需要的话。

● 当过程不受控时有不同的度量方式作为监控者。

● 度量提供当前过程改进。

四、记忆要点● 度量那些可以收集的必须使用的准确以及完整数据。

● 度量必须很容易解释以及评估。

● 度量多样化使度量基准形式可以从组织到组织,也可以是个人到个人。

五、度量生命周期建立度量时涉及的过程:六、软件测试度量类型基于测试执行的不同类型,下面就是软件测试度量的类型:1、手工测试度量2、性能测试度量3、自动化测试度量下面的图表展示了不同的软件测试度量让我们逐一熟悉一下:6.1 手工测试度量6.1.1 测试用例生产率(TCP)度量给出基于测试用例编写生产率,这些测试用例有确定的结果。

例子测试用例名称测试步骤XYZ_1 30XYZ_2 32XYZ_3 40XYZ_4 36XYZ_5 45总步骤183 结论8小时编写183个步骤。

TCP=183/8=22.8测试用例生产率=23步/小时人们可以和以前版本和生产力比较测试用例生产率,并从中得出最有效率的结论。

测试用例生产率趋势图6.1.2测试执行摘要这种度量分析给出测试用例分类方面的状态以及原因,如果可能,针对各类测试用例。

下面给出了发布版本的静态视图。

人们可以收集执行结果如下的测试用例数量的数据:通过失败以及失败原因不能测试及其原因。

一些导致这些状态原因,时间不足,推迟缺陷,安装问题,超出范围。

摘要趋势人们也可以为各种不能进行的测试以及失败的测试用例的原因分类展示同样的趋势。

6.1.3 缺陷可接受率(DA)这项度量决定测试组在执行期间定义的有效缺陷的数量。

度量值可以和以前发布版对比从而得到更好的图表。

缺陷接受率趋势6.1.4缺陷不接受率(DR)这项度量决定在测试期间不接受的缺陷数量。

它提供了测试组已经打开的并在必要时可以控制的无效缺陷的百分比。

缺陷不接受率趋势6.1.5 不良缺陷修复(B)不良缺陷修复是指由解决缺陷导致的新缺陷。

这项度量决定缺陷修复过程的效果。

它指出需要控制的不良缺陷修复的百分比。

不良缺陷修复趋势6.1.6 测试执行生产率(TEP)这项度量指出测试用例生产率,进一步分析可以得出确切的结果。

Te计算如下:在这里,基本用例=至少执行了一次的TC编号T (1) = No. of TC 重新测试71% to 100% of 总TC 步骤T (0.66) = No. of TC 重新测试41% to 70% of总TC步骤T (0.33) = No. of TC重新测试1% to 40% of总TC步骤例子用例名称基础执行效果(hr)重复运行情况1重复执行效率1 (hr)重复运行情况2重复执行效率2(hr)重复运行情况3重复执行效率3(hr)XYZ_1 2 T(0.66) 1 T(0.66) 0.45 T(1) 2 XYZ_2 1.3 T(0.33) 0.3 T(1) 2XYZ_3 2.3 T(1) 1.2XYZ_4 2 T(1) 2XYZ_5 2.15在上面的例子中,基础测试用例 5T(1) 4T(0.66) 2T(0.33) 1Total Efforts(hr) 19.7Te = 5 + ((1*4) + (2*0.66) + (1*0.33))) = 5 + 5.65 = 10.65测试用例生产力=(10.65/19.7) * 8 = 4.3 执行/day人们可以和以前发布版对比生产力从而得出有效结论。

测试用例执行生产力趋势6.1.7 测试效率(TE)这项度量决定测试组在提交缺陷时的效率。

下面,DT = 在测试期间定义的有效缺陷数。

DU = 应用发布后由用户定义的有效缺陷数。

换句话说就是,事后测试缺陷测试效率趋势6.1.8 缺陷严重性指数(DSI)这项度量决定测试时和发布时的产品质量,基于这项人们可以决定是否发布产品,即这项代表了产品质量。

人们可以将缺陷严重程度分为两部分:1、所有缺陷状态的缺陷严重程度:这项值提供了在测试中的产品质量。

2、打开状态缺陷的缺陷严重程度:这项值给出发布时的产品质量。

因为为此计算缺陷严重程度,必须考虑仅仅是打开状态的缺陷。

缺陷严重程度趋势从这个图表中可以很清楚得到● 测试中的产品质量,即所有状态缺陷的缺陷严重程度= 2.8(高严重程度)● 发布时的产品质量,即打开状态缺陷的缺陷严重程度= 3.0(高严重程度)6.2 性能测试度量6.2.1性能测试脚本生产率(PSP)这项度量为性能测试脚本提供脚本生产率以及一段时间内的趋势。

执行的操作是:1、点击编号,即点击刷新的数据。

2、输入参数的编号3、关联参数编号上述评估过程包括嵌入式逻辑在很少用到的脚本中。

示例执行性能Total点击数量10输入参数数量 5关联参数数量 5总执行性能20脚本编写结果=10小时性能脚本生产率= 20/10=2 操作/小时性能脚本生产率趋势6.2.2 性能执行综述这项度量列出了与由状态(通过/失败)控制的测试的数量的类型,针对性能测试的各种类型。

一些性能测试类型:1、负载测试2、疲劳强度/渗透测试3、断点/压力测试4、失效测试综述趋势6.2.3 性能执行数据-客户端这项度量为执行给出客户端数据的细节信息。

以下是这项度量的一些数据点:1、运行用户数2、响应时间3、每秒点击率4、吞吐量5、每秒总事务数6、第一个字节传输时间7、每秒错误数6.2.4 性能执行数据-服务器端这项度量给出执行时服务器端数据的详细信息。

下面是这项度量的一些数据点1、CPU占用率2、内存占用率3、堆内存占用率4、每秒数据库连接数6.2.5 性能测试效率(PTE)这项度量决定在拿到需求时性能测试组的质量,如果需要的话,这份需求可以作为将来改进的输入使用。

评估这项需要在性能测试期间以及结束后收集数据点。

一些性能测试的需求是:1、平均响应时间2、每秒事务数3、应用必须可以处理预定义的最大用户负载。

4、服务器稳定性。

例如考虑在性能测试期间遇到的上述提到的需求。

性能测试期间的需求数= 4在产品中,平局响应时间比期望值更好,在性能测试结束后没有满足需求=1PTE = (4 / (4+1)) * 100 = 80%性能测效率是80%性能测试效率趋势6.2.6 性能严重程度指数(PSI)这项度量决定基于性能标准的产品质量,性能标准可以决定下个阶段发布产品,即它代表性能方面测试的产品质量。

如果没有满足需求,人们可以为需求确定严重程度以至于可以决定性能方面的产品发布。

例如考虑,平局响应时间是没有满足的重要需求,然后测试人员可以按照标准打开缺陷严重程度。

然后性能严重程度指标=(4 * 1) / 1 = 4 (严重)性能指数趋势6.3 自动化测试度量6.3.1 自动化脚本生产率(ASP)这项度量为基于同样的可以分析并且得出最有效结论的自动化测试脚本生产率。

执行操作如下:1、点击编号,即在刷新数据时的点击。

2、输入参数的编号。

3、增加的检查点的编号以上过程包含很少使用的嵌入式逻辑的脚本。

例如操作总计点击数10输入参数熟练 5增加的检查点个数10总的操作性能25 脚本效率=10小时ASP=25/10=2.5自动化测试脚本生产率= 2.5操作/每小时自动化脚本生产率趋势6.3.2 自动化测试执行生产率(AEP)这项度量给出自动化测试用例执行生产率。

ATe计算如下评估过程和手工测试执行生产率相似。

6.3.3 自动化覆盖率这项度量指出自动化手工测试用例的百分比。

例如如果有100个手工测试用例,并且人们可以自动化60个用例,那么自动化覆盖度=60%6.3.4 成本对比这项度量给出在手工测试和自动化之间的成本比较。

这项测试被用来得出确定的POI(投资回报)手工成本评估如下:成本(M)= 执行结果(小时)* 支付比率自动化成本评估如下:成本(A)= 购买工具成本(一次性投资)+ 维护成本+ 脚本开发成本+ (执行结果*支付率)如果脚本重用,脚本开发成本将更新成本。

使用这项度量在IT工业扮演重要角色的流通方面得出有效结论。

6.4 各种类型测试的通用度量6.4.1 挣值(EV)这项度量指出估计结果的差异。

结果差异趋势6.4.2 进度差异(SV)这项指标指出估计进度的差异,即日期数。

进度差异趋势6.4.3 范围变化(SC)这个指标指出如何固定测试范围。

下面总范围= 以前的范围+ 新范围,如果范围扩大的话总范围= 以前的范围- 新范围,如果范围缩小的话一个发布版本范围变化趋势7、结论度量是评估的重要组成部分以及任何业务改进的基础。

是应用于过程、产品和服务器的基于技术的度量,它为工程和管理提供信息,并且如果需要的话,基于为提高过程、产品、服务的信息工作。

他指出客户满意程度,易于数字化管理,深入获取数据,在过程将要超出控制时,随时需要和扮演监视器角色。

所以,度量帮助组织获得继续提高生产率、减少错误和提高过程接受率、产品、服务以及达到最终目标的信息,就像“你不能控制你没有测量的。

”。

相关主题