– 检验系统能力的最高实际限度。 – 让系统处于资源的异常数量、异常频率和异常批量
下运行来检测的处理能力。
• 性能测试
– 检验软件的处理能力。通常和强度测试结合进行。
• 其它测试
– 如功能测试等。
2019-9-17
谢谢欣赏
18
系统测试、单元测试、集成测 试之间的区别
• 测试方法不同
– 系统测试属于黑盒测试；单元测试、集成测试属于白盒 或灰盒测试。
• 用户按照软件的使用方式，输入数据，分析测试结 果。
• 验收测试实际上是对整个测试计划的Walkthrough.
2019-9-17
谢谢欣赏
14
系统测试相关概念
• 基本概念
• 系统测试的种类
• 系统测试和单元测试、集成测试的区别
• 系统测试在整个测试过程中的位置。
2019-9-17
谢谢欣赏
15
基本概念(1)
2019-9-17
谢谢欣赏
5
确认测试的结果
• 确认测试的结果可能是下面两种情况之 一：
– 软件的功能，性能及其他要求均满足需求规 格说明的规定，软件可接受。
– 发现软件与需求说明之间有偏差，软件不可 接受。此时应该得到一个缺陷清单。
• 当出现第二种情况时，一般很难再按时 交付合格的软件。此时应该和客户协商 解决。
2019-9-17
谢谢欣赏
6
进行有效性测试（黑盒测试）
• 执行有效性测试，是在模拟的环境下，运用黑 盒测试的方法，验证所测试软件是否满足需求 规格说明书列出的需求。
• 相应的测试计划的内容包括：
– 规定要做的测试的种类。
– 制定测试步骤：运行那些用例，如何设置环境等。
• 执行测试时，根据预定的计划实施测试，确定 软件的特性是否达到要求，是否所有的文档都 完整。也检查包括可移植性，兼容性等特性。
• 系统测试用例应符合模板的要求； • 覆盖需求规格的所有测试点； • 测试用例的内容应该和系统测试方案一
致； • 测试用例应该考虑各种输入输出条件和
各种边界值； • 测试用例应该考虑性能、异常、压力、
容限方面的内容。
2019-9-17
谢谢欣赏
30
系统测试用例的常用方法（1）
• 等价类划分
– 把系统的输入域划分成若干部分，然后从每 个部分中选取少数代表性数据当作测试用例， 等价类是输入域的集合。
• 安全性测试
– 验证系统的保护机制在非常条件下是否能起保护作 用。
• 压力测试/性能测试
– 测试系统在一定压力下、长时间工作等稳定性指标， 也包括资源减少/紧张时系统的工作能力。
2019-9-17
谢谢欣赏
33
测试角度（2）
• 容限测试
– 主要测试系统在各种常规配置下所能处理各种功能 的最大能力。
系统测试
xxx 南京大学计算机系
2019-9-17
谢谢欣赏
1
确认测试
• 确认测试又称为有效性测试。它的任务是验证 软件的功能和性能，以及其它特性是否和用户 的要求一致。
– 检验所开发的软件是否能够按照顾客提出的要求运 行。
• 软件确认测试的基础是软件需求规格说明中描 述的有效性准则。
• 确认测试在软件的集成测试完成之后进行。
2019-9-17
谢谢欣赏
2
确认测试的步骤（1）
选择测试人员
构造测试用例
实际运行测试 软件计划 用户文档
有效 性测 试
管理 机构 决策
专家 交付 鉴定 用户 会
开发文档 源程序文本
软件 配置 审查
支持环境
2019-9-17
谢谢欣赏
• 步骤示意图3
确认测试步骤（2）
• 首先，进行有效性测试以及软件配置审 查，
• 也可以包括设计说明书，但是决不能是 软件本身。
2019-9-17
谢谢欣赏
21
系统测试的标准过程
• 测试过程:
– 测试计划
计划系统测试
《系统测试计划书》
– 测试设计
– 测试实现
– 测试执行
• 测试设计和 测试实现分 离
设计系统测试 《系统测试方案》
实现系统测试
《系统测试用例》 《系统测试工具设计与实现》
《商用测试工具报告》
《系统测试报告》
实现系统测试 《系统测试问题总结、分析报告》
2019-9-17
谢谢欣赏
《商用测试评估，度量报2告2 》
系统测试计划（1）
• 对系统测试全过程的组织、资源、原则进行描 述和约束；
• 制定系统测试过程的各个阶段的V&V任务以及 时间进度安排；
• 提出对各项任务的评估、风险分析和管理需求。
• Alpha测试一般在系统集成并到达一定的 稳定性之后进行。
2019-9-17
谢谢欣赏
11
Beta测试(1)
• Beta测试是由软件的多个用户在一个或 多个用户的实际使用环境下进行的测试。
• 测试者是和公司签订了合同的支持产品 预发行的外部客户。他们使用软件产品， 并将有关信息返回给公司。
• Beta测试中，软件的开发者通常不在场。 软件测试在不受控的环境下进行。
2019-9-17
谢谢欣赏
7
软件配置审查
• 软件配置审查是确认测试过程的重要环 节，其目的是保证软件配置的所有成分 齐全，符合质量要求，维护阶段所必需 的细节已经编排完毕。
• 需要仔细检查用户手册和操作手册是否 完整。
– 按照这些手册执行软件确认测试，一方面察 看软件的功能，一方面察看手册是否完整。
2019-9-17
谢谢欣赏
12
Beta测试(2)
• 再Beta测试中，用户记录下遇到的问题，定期向 开发者报告。
• 开发者在综合用户的报告之后，做出修改，然后 向公众发布。
• Beta测试主要衡量产品的Flurs，着重产品的支持 性：包括文档，客户培训，支持产品生产能力。
• 只有当Alpha测试使软件达到一定的可靠性时才可 以进行Beta测试。
– 包括：窗口测试、下拉菜单和鼠标操作测试、 数据项测试等。
19
系统测试的位置
需求分析 概要设计 详细设计 编码
系统测试计划， 设计，实现
系统测 试执行
集成测试计划， 设计，实现
集成测 试执行
单元测试计划， 设计，实现
单元测 试执行
代码审查
2019-9-17
谢谢欣赏
20
总结
• 系统测试的对象是整个系统，包括
– 软件，软件所依赖的硬件，外设，外部接口。
• 测试的依据是需求规格说明书，各种规 范。
• Alpha测试是用户在受控制的环境下进行 的测试。
2019-9-17
谢谢欣赏
10
Alpha测试（2）
• 测试的目的是：FLURPS（功能，本地化， 可使用性，可靠性，性能和支持），尤 其注重界面特色。
• 用户(alpha测试人员）提出的功能和修改 意见是非常有价值的。软件开发人员应 该努力处理。
• 因果图
– 考虑输入输出条件的测试方法。根据输入条 件的组合、约束关系和输出条件的因果关系 而道出测试用例的方法。一般和判定表结合 使用。
2019-9-17
谢谢欣赏
31
系统测试用例的常用方法（1）
• 正交实验设计法（不常用）
– 通过正交实验理论来指导测试用例的选取，以便能 够用较少的测试用例使测试充分。
• 制定软件预测试项，编写系统测试规程，设计、 实现和验证系统测试工具，设计、实现和验证 系统测试代码，构造系统测试环境。
• 产生《软件系统测试用例》，《软件系统测试 规程》、软件系统测试代码以及相关文档，软 件系统测试工具以及相关文档与使用说明，评 审纪录等。
2019-9-17
谢谢欣赏
29
系统测试用例编写原则
计划的测试活动。
• Alpha测试和Beta测试可以发现只有最终用户才
2019可-9-17以发现的错误。 谢谢欣赏
9
Alpha测试（1）
• Alpha测试可以是用户在开发环境下进行 的测试，也可以是开发机构内部的用户 在模拟实际操作环境下进行的测试。
• 软件的开发者观察用户使用的情况并记 录下错误情况和使用中的问题。
2019-9-17
谢谢欣赏
8
Alpha测试和Beta测试
• 开发者无法预测用户怎么使用软件。有些软件 的错误从开发者的角度是难以理解的。
– 用户对使用方法的误解， – 异常的数据组合， – 部分用户可能难于理解某些输出。
• 因此，可能需要由用户直接来验证软件的有效 性。
• 这样的测试是以用户为主进行的。它可能是一 次简单的测试运行，也可以是一组复杂的，有
• 考察范围不同
– 单元测试主要测试模块的内部接口，数据结构，逻辑， 异常处理等对象。集成测试测试模块之间的接口和异常。 系统测试主要测试整个系统相对于用户的需求。
• 评估基准不同:
– 系统测试的评估基准和测试用例对需求规格的覆盖率； 单元测试和集成测试的评估主要是代码的覆盖率。
2019-9-17
谢谢欣赏
• 恢复测试
– 主要采取人工手段使软件出错或系统部件出错，使 系统不能正常工作。测试系统在出错情况下的自我 恢复能力。
• 配置测试
– 测试系统在各种软硬件配置、不同参数配置下系统 的功能和性能。
2019-9-17
谢谢欣赏
34
测试角度（3）
• 兼容性测试
– 主要考虑新老版本之间的兼容性。
• 图形用户界面测试
• 系统测试的主要目的是验证整机系统是 否满足系统需求规格的定义。
• 系统测试也包含确认测试。
• 系统测试是将已经通过确认测试的软件， 作为整个系统的一个元素，与计算机硬 件，外设，支撑软件，数据和人员等其 他因素结合在一起，在实际运行的环境 下进行一系列测试。