20世纪末的自动化测试天下，呈现三足鼎立的局面
Mercury WinRunner
Rational Robot Segue SilkTest
14
11/12/2014
火龙果整理
附A：自动化测试工具的市场风云（2）
进入21世纪，天下格局风云骤变 2002年IBM宣布收购Rational公司，Rational全套产品与DB2、 WebSphere、Lotus、Tivoli等并列为IBM软件几大产品家族 2006年HP以45亿美元收购Mercury 2006年4月Borland公司收购Segue (赛格瑞) 2008年Oracle收购Empirix旗下E-Test Suite整套工具套件 2009年5月Micro Focus以7500万美元现金收购Borland 2009年5月Micro Focus以8000万美元收购Compuware全部的质量 保证解决方案与产品 2009年11月Compuware以2.95亿美元收购高明网络(Gomez)公司， Gomez成为Compuware的网络性能部门
黑盒测试用例

性能测试用例
–
8
11/12/2014
火龙果整理
基本过程 — 测试执行与管理

准备测试环境
条目名称 检查内容
硬件环境是否与拓扑描述一致 软件环境是否与软件环境列表中描述的一致 应用部署是否成功 测试辅助工具是否部署成功 软件参数设置是否符合要求 数据是否与数据要求描述表中描述一致 上次测试是否引入了额外的数据而没有清除
15
11/12/2014
附B：测试工具 — 功能自动化测试工具
厂商
HP QTP
火龙果整理
工具
TestPartner
SilkTest RFT Rational Service Tester for SOA Empirix E-Tester WebKing WebFT TestComplete QA Wizard Visual Studio Test Edition
上海泽众
Minq
AutoRunner
PureTest
实现对WEB和Windows应用进行自动化功能测试的过程，脚本为JAVA
现已免费，专注于对WEB应用程序进行功能自动化测试，并即时对WEB页面元素进行检测， 对HTTP请求、响应进行诊断分析
开源
ThoughtWorks
Ruby + Watir
Selenium
Parasoft
RadView AutomatedQA Seapine Microsoft
面向WEB应用程序的回归功能测试工具
对WEB系统进行自动化功能测试的工具， TestView工具套件不再升级 除了功能测试外，完全可以做性能测试、压力测试等，具有强大的API接口，licence 也比较便宜 支持常规的Windows应用程序、WEB应用程序 基于微软的.NET平台，可对.NET技术下的一切程序进行白盒功能测试、代码诊断测试、 黑盒功能测试和系统性能测试，目前仅微软内部使用
17
11/12/2014
附B：测试工具 — 测试管理工具
厂商
HP IBM
火龙果整理
工具
Quality Center Rational TestManager
备注
原主打产品TestDirector，业内最强大、使用最广泛的测试管理工具之一，可与QTP、 WinRunner、LoadRunner等集成，也可与MS Office、IBM Rational等产品集成 原Rational产品中专业对软件测试资源进行管理的强大工具。包括测试用例管理、测试执 行管理、测试脚本和报告管理等。另外可与Robot结合做性能测试，更可以和RFT、RFP、CC、 CQ等集成使用 是完全可以与HP Quality Center媲美的软件测试管理工具，包括测试计划、工作流、任务 跟踪和统计分析等功能，它可以替代IBM Rational Manual Tester，Rational Clear Quest甚至Rational Test Manager 原Compuware公司产品，与原Compuware产品集成紧密 原Segue产品，与原Segue产品集成紧密 面向软件开发生命周期的管理工具，包括Policy Center、Process Center、Project Center、Test Center、Report Center五大模块，其中Test Center有对测试过程和测试资 源的管理 RadView公司2006年推出的TestView工具套件，里边包括WebLoad，WebFT以及TestView Manager三个产品，如今TestView工具套件不再升级 类似于IBM Rational TestManager，只侧重测试用例、测试执行、测试结果分析的功能 与EggPlant集成，实现对其测试用例和测试脚本的构建、存储、执行、分析等功能 项目管理软件，集需求规格定义、测试计划定义、测试进度跟踪、版本发布管理、文档报 告管理等于一身的大型商业工具 对软件测试过程的需求、计划、分析、用例、执行、缺陷报告、版本控制实现完全的管理， 并符合V模型，将单元测试、集成测试、系统测试、验收测试四个阶段严格划分 测试管理工具，从测试用例的创建、计划到执行、到缺陷提交和跟踪的全过程统一起来。 它由DevTrack、DevTest、 TestLink整合而成 实现测试用例的过程管理，对测试需求过程、测试用例设计过程、业务组件设计实现过程 等整个测试过程进行管理
输入需求规格说明书 确定阶段的测试范围和任务 确定测试策略和方法 确定测试环境与辅助工具 确定测试周期与资源 确定测试风险分析 输入项目计划书
测试计划
5
11/12/2014
火龙果整理
基本过程 — 测试设计与开发

设计测试环境
指定系统的软硬件环境、数据环境设计以及环境的 维护方法
–
测试框架的选择

录制/回放
简单易用，但后期维护成本高
脚本模块化
功能函数化，增加重用性
测试库构架
多脚本共用，重用性大大提高，增加初期开发成本以减少后期维护成本
数据驱动框架
可以快速增加相似测试，适用于测试对象流程固定不变（仅仅数据发生变化）
关键字驱动框架（表驱动框架）
独立于应用程序
混合的测试自动化框架
– –
基于测试用例，易于维护和管理 数据准备和维护不简单（用例数据依赖化）
11/12/2014
10
火龙果整理
基本过程 — 测试执行与管理
实施测试 根据定义的测试策略和测试方法执行测试用例或测试脚本
单元测试 集成测试 系统测试 性能测试 用户测试 缺陷管理 自动化测试 手工测试
厂商
HP
Micro Focus QALoad
火龙果整理
工具
Mercury LoadRunner
备注
历史最悠久、行业地位最高、市场份额最大、使用最广泛、业内最专业的性能测试工具
原Compuware公司性能测试工具主打产品，目前业内主流的大型性能测试工具之一，支持HTTP、 HTTPS、SOAP、XML、Streaming Media、Winsock、JAVA、.NET、Citrix、Oracle Forms、SAP等 多种协议技术 原Segue公司性能测试工具主打产品，全球性能测试工具市场排名第二，增强了对Web Service性 能测试的能力，它的性能瓶颈诊断与分析功能，在某些方面比Loadrunner还强大 IBM Rational Performance Tester， 替代IBM Rational Robot + TestManager，在性能测试市 场与HP、Microsoft、Micro Focus、RadView等独占鳌头 是目前业内主流性能测试工具之一，主要支持HTTP的WEB应用程序的性能测试和监控分析 全面支持WEB应用程序的性能测试执行、监控、分析，全球有2000多家公司使用它做性能测试 商用，它专注于对WEB应用系统进行常规的压力、负载、稳定性测试。与PureAgent结合，可以诊 断WEB服务器的响应时间、资源利用率等 如今的Microsoft Visual Studio Test Edition内性能测试功能仍然以它为主 微软早期的小型性能测试工具，现已不升级，主要适合ASP、.NET开发的WEB应用系统进行性能测 试 是一款强大的主流性能测试工具，支持多种开发技术与网络协议，如WEB、JAVA、.NET、Citrix， 并有一套辅助分析工具可对JAVA、主流数据库产品、网络进行分析和诊断 专门对数据库做性能测试和容量规划的工具 目前业内使用最广泛的性能测试工具，支持HTTP/HTTPS、SOAP、JDBC、LDAP、JMS等，但监控、 分析功能不如商业工具 在JMeter之初使用普遍，后来被JMeter打败；如今它还是仅支持WEB应用的性能测试 免费产品，可对HTTP， HTTPS， SOAP， XML-RPC， SMTP， POP3， IMAP下的JAVA应用程序做单 元测试、集成测试、系统功能测试、系统性能测试等，脚本语言采用最新的Jython
免费的自动化测试框架，通过Ruby脚本的强大编程能力，基于Watir的强大接口，可实 现对WEB应用程序的自动化测试
免费的自动化测试框架，支持Ruby、Java、Perl、Python等语言的脚本开发，适合WEB 应用程序的自动化测试 11/12/2014
16
附B：测试工具 — 性能/压力测试工具
备注
Mercury Quicktest Professional，替代Winrunner
Micro Focus
Micro Focus IBM IBM Oracle
支持VBA脚本，侧重于应用软件的业务逻辑测试
替代收购来的Compuware QARun IBM Rational Functional Tester ， 支持JAVA和.NET开发的WEB应用程序和图形界面 应用程序的自动化测试，目前还有针对SAP等插件 ，取代Robot的地位 IBM最新推出的针对Web Service进行自动化测试的工具 应用于WEB应用软件的自动化功能测试