软件测试工作程序
1.0 目的
规范软件测试行为,明确各类型项目在各个阶段应作的测试工作。
2.0 适用范围
本程序适用经托普技术委员会批准立项的软件项目的软件测试工作过程。
3.0 定义
3.1测试的软件错误级别:
按照对工作功能的影响程度,即严酷度(Severity)的不同,将错误分为以下5级:
一级:不能完全满足系统要求,基本功能未完全实现;或者危及人身安全。
二级:严重地影响系统要求或基本功能的实现,且没有更正办法(重新安装或重新启动该软件不属于更正办法)。
三级:严重地影响系统要求或基本功能的实现,但存在合理的更正办法(重新安装或重新启动该软件不属于更正办法)。
四级:使操作者不方便或遇到麻烦,但它不影响执行工作功能或重要功能。
五级:其他错误。
3.2 软件可测试性及可测试性传递项——(见附件1)软件可测试性。
4.0 职责
4.1 软件项目开发组
4.1.1 软件项目开发组负责制定《项目开发
》并按进度完成各开发阶段工作任务。按时提交阶段成果给计划控制部。
4.1.2 按照项目开发计划和测试计划,按时提交源代码给测试组,同时附“测试通知单”。
4.1.3 软件开发人员接到测试人员的“测试日志”后,及时完成错误的修改和调试,并在规定的时间内返回给测试人员回测。
4.2 项目监控中心计划控制部
4.2.1 项目监控中心计划控制部负责维护VSS系统。
4.2.2 项目监控中心计划控制部负责按计划督促开发人员及时将开发文档放入VSS系统的相关路径下。
4.3 项目监控中心产品评测部
4.3.1 产品评测部负责组织评测小组,安排测试人员,监督测试各阶段的完成情况。
4.3.2 产品评测部负责组织人员对需求分析说明书、概要
说明书进行评审。
4.4 项目测试组
4.4.1 项目测试组参加阶段评审工作。
4.4.2 项目测试组长负责制定《测试计划》,协调测试人员。
4.4.3测试组按照计划在不同的阶段作《测试设计》、《测试
》、《单元测试》、《集成测试》、《系统测试》。
4.4.3 项目测试组总结测试过程,分析测试情况,作《测试分析报告》。
4.4 技术委员会
4.4.1 负责确定项目类型、项目大小。
1
4.4.1 主持项目验收
5.0 工作程序
5.1 产品评测部按项目管理规定成立项目评测小组、确定测试费用。并报技术委员会立项审批,如果是产品开发项目,产品评测部同时应根据项目技术可行性报告完成可测试性报告。
批准立项的软件项目审批表相关内容由技术委员会下达给产品评测部。项目评测进入实施阶段。
5.2 测试组根据项目审批表、项目开发计划制定总体测试计划,明确测试组内部人员分工,测试进度,根据项目类型和项目大小确定测试阶段(见附件6)。测试计划经测试主管审核后,提交给项目计划控制部,放入VSS系统的项目待评审文档下。同时邮件通知项目开发组确认该测试计划。开发组应在三日内反馈意见。
5.3 项目需求分析阶段结束前,开发组将待评审的《需求分析说明书》提交给项目计划控制部,放到VSS系统的项目待评审文档下。产品评测部组织人员对需求分析说明书进行评审。根据评审通过的软件需求分析说明书,测试组完善总体测试计划,明确测试项和测试特性,并根据《需求分析说明书》、《系统测试作业指导书》制定系统测试方案。明确系统测试的测试项,测试的特性及各种性能指标,通过准则等。
5.4 由部门主管,测试技术主管,测试技术组长组成评审小组对该测试方案进行评审,评审通过后,提交给项目计划控制部,放入VSS系统的待评审文档下。同时邮件通知项目开发组确认该测试方案。开发组应在三日内反馈意见。
5.5 项目概要设计阶段结束前,开发组将待评审的概要设计说明书提交给项目计划控制部,放到VSS系统的项目待评审文档下。产品评测部组织人员对概要设计说明书进行评审。并检查其与需求的一致性。根据通过评审的概要设计说明书,测试组进一步完善测试计划,对各测试项、测试特性进行细化,调整测试分工等。若总体测试计划规定作集成测试,则根据《概要设计说明书》、《集成测试作业指导书》作集成测试的测试设计。制定集成测试的测试计划,明确集成测试的测试项、测试特性、测试进度、人员分工、通过准则等。集成测试计划和集成测试设计经测试主管审核后,提交给项目计划控制部,放入VSS系统的项目待评审文档下。同时邮件通知项目开发组确认该测试计划。开发组应在三日内反馈意见。
5.6项目详细设计阶段结束后,开发组将详细设计说明书提交给项目计划控制部,放到VSS系统的项目待评审文档下。若总体测试计划规定作单元测试,测试组根据详细设计说明书,制定单元测试的测试计划,明确单元测试的测试项、测试特性、测试进度、人员分工、通过准则等。并且根据《详细设计说明书》、《单元测试作业指导书》、《集成测试作业指导书》作单元测试的测试设计,和完善集成测试设计。单元测试计划、单元测试设计、集成测试设计经测试主管审核后,提交给项目计划控制部,放入VSS系统的项目待评审文档下。同时邮件通知项目开发组确认该测试计划。开发组应在三日内反馈意见。
5.7开发进入编码阶段,评测则进入阶段测试。软件编程人员在单元模块编码完成、模块逐步集成、搭建系统试运行环境并完成相应调试时向对应的软件测试人员发出单元测试、集成测试、系统测试的“测试通知单”(见附件2),同时将测试对象源代码、可执行程序、及其配置项等可测试性传递项放入VSS系统的待测试程序下。测试人员从VSS中取出待测试的对象。检查其是否是可测试的,若软件测试传递项是不可测试性的,测试人员登记一次“不可测试性传递次数”在“测试通知单”中,同时将不可测试性传递项不作任何测试返回给编程人员,并注明不可测试原因。
5.8 测试人员根据“测试通知单”结合《测试计划》、《测试设计说明书》、《测试方案》等相应内容对可测试性传递项进行测试工作,对采用测试用例进行测试的测试记录可以只记录测试出的错误项。否则应记录所有的测试过程。错误项测试记录填写在《测
2
试日志》(见附件3)报告中。正确项测试记录填写在《测试记录》(见附件4)报告中。
5.9 测试人员将本次测试的《测试日志》和《测试记录》,交软件开发人员确认,开发人员针对测出的错误项进行修改和调试。
5.10 开发人员针对此次《测试日志》的错误项进行修改调试,并填写相应的“错误修改及原因简述”表示修改调试完毕。全部错误项修改调试完毕后交返《测试日志》给测试人员回测。此过程完成时间规定为3工作日,超过3日返回需开发人员注明原因。
5.11 测试人员对修改项进行回测,并回测该错误项的相关项,然后在“回测”栏填写“合格”标志表示该测试项经回测后达到合格要求并告一段落。
.12 测试人员对上述“错误修改及原因简述”栏和“回测”栏为非合格标志的测5
试项,会同相关测试产生的新错误,记录于另一份编号增加1的《测试日志》中,代表又一次测试。其中非合格的旧测试项记录序号保持不变,新错误的记录序号加1连续记号。
5.13 重复5.10、5.11、5.12过程,直至过程5.9的情况不再出现。
5.14 测试记录归档。所有测试项结束测试后,所产生的测试文档(包括测试日志、测试记录、测试设计、测试方案)归档保存。
5.15测试活动总结。总结软件测试过程,将整个测试
及有关统计数据信息等按要求格式编写《测试分析报告》。
.16 由部门主管、测试技术主管、测试技术组长组成评审小组对测试组的《测试5
分析报告》进行评审。评审通过后,将《测试分析报告》提交给技术委员会。同时归档该报告。
5.17 技术委员会根据项目审批表组织验收测试。
18 《测试日志》编号规则和错误类型分类。 5.
5.18.1 《测试日志》编号格式为:nxxyyyyzz 其中:
n:测试人员代码。
Xx:测试阶段或性质标志。
DY--代表单元测试。
JC--代表集成测试。
XT--代表系统测试。
Yyyy:测试对象代码。
Zz:代表同类测试的次数号。首号为01。之后加1计号,代表另一次测试。
例如:编号为HDYXTGL02,代表测试人员H第二次单元测试模块“XTGL”的
《测试日志》。
5.18.2 错误类型分类:
按照对工作功能的影响程度,即严酷度(Severity)的不同,将错误分为以下5级:
一级:不能完全满足系统要求,基本功能未完全实现;或者危及人身安全。
二级:严重地影响系统要求或基本功能的实现,且没有更正办法(重新安装或重新启动该软件不属于更正办法)。
三级:严重地影响系统要求或基本功能的实现,但存在合理的更正办法(重新安装或重新启动该软件不属于更正办法)。
四级:使操作者不方便或遇到麻烦,但它不影响执行工作功能或重要功能。
五级:其他错误。
5.19 软件测试合格通过准则
5.19.1 软件需求分析说明书中定义的所有功能已全部实现,性能指标全部达到要求。
5.19.2所有测试项没有残余一级、二级错误。
3
5.19.3 立项审批表、需求分析文档、设计文档和编码实现一致。
5.19.4软件测试过程中的不可测试性传递项不能超过4次。
5.19.5以上四条其中之一不满足要求,视为不合格。
5.19.6以上的测试合格通过
是一个基本的准则,测试人员在测试计划中制定通过标准时,应根据项目具体情况(如项目类别、项目大小)参照以上标准制定项目的测试通过标准。在制定单元测试、集成测试、系统测试的通过准则时,亦应参照以上标准和5.20中的测试工作基本停止标准。
5.20 测试工作基本停止标准:
5.20.1 单元测试在测试时要保证语句覆盖率、分支覆盖率达到一定比率,各测试项通过。如果达到上述要求,即认为已达到单元测试的要求,可以终止单元测试。
5.20.2 集成测试主要是测试单元之间的各种接口是否已正确实现,局部系统的功能和性能是否满足。
5.20.3 系统测试根据需求规定制定测试大纲,按照大纲对各种功能,性能等进行确认测试,当需求规定的全部功能和性能全部实现,并且用户文档合乎要求可以终止系统测试。
5.21 测试工作程序图(见附件5)
6.0 支持性文件
软件测试计划规范。
软件测试用例作业指导书。
软件单元测试作业指导书。
软件集成测试作业指导书。
软件系统测试作业指导书。
7.0 附件
附件1、软件可测试性
附件2、测试通知单
附件3、测试日志
附件4、测试记录
附件5、测试工作程序图
附件6、项目类别、项目大小与实际测试阶段的对应关系
4
附件1.
软件可测试性
软件可测试性是指提交测试的软件测试传递项具备可测试的特性,包含:
一、软件开发者在各开发阶段提交了完善的软件需求说明书、概要设计说明书、详细设
计说明书,并保持文档按设计更改控制规范的适时更新;
二、在各测试阶段提交《测试通知单》(注明必要的说明和测试要求或条件等)、合格测
试项。
三、合格测试项是满足下列条件的软件源代码:
1、已按设计完整编码或已对全部错误完成修改;
2、调试编译合格通过、软件可正常运行;
3、除特别注明外,功能、性能按期完成或实现,无明显的低级缺陷; 4、相关配置项(如数据库)及配置环境(如硬件及接口)齐全,满足测试要求。 5、实现的功能与软件需求说明书、软件设计说明书一致。
四、系统测试时提交用户安装版本、提交《用户手册》和《操作手册》且内容与程序逻
辑完全一致。
5
附件2.
测试通知单
日期:__________________ 编程人员:___________ 测试人员:___________ 对象名称: 所属项目:
对象路径: 对象用途:
对象使用说明:
测试性质: ?单元(DY)测试 ?集成(JC)测试 ?系统(XT)测试 ?其他 不可测《测试日志》编修改试性传提交修改日期 开发者签名 返回回测日期 测试者签名 号 天数 递次数
注:?软件测试传递项具可测试性,“不可测试性传递次数”栏填写0;否则填写1,对不可测试性传递项不作测试直接返回编程人员修改并填写“提交修改日期”等栏目。?全表各栏均需填写。
6
附件3.
测试日志
日期: 测试人员: 编号: 测试对象名称 编程人员 所属项目 序错误类测试项错误修改及原因简述 回测 操作步骤及现象 号 型 名称
其他说明:
确认人:
7
附件4
测试记录
日期: 测试人员: 编号: 测试对象名称 编程人员 所属项目 序测试项名称 输出数据(结果) 结果分析 输入数据和操作步骤 号
8
附件5、测试工作程序图
项目审批表
产品项目,
根据技术可行性报告作
软件可测试性报告
根据项目开发计划制定
测试计划
评审需求分析说明书 返回开发组修改
通过吗,
完善测试计划,增加测试
项、测试特性
A
9
A
制定系统测试方案
内部评审测试方案
通过吗,
评审概要设计说明书
修改概要设计说明书
通过吗,
作粗略测试设计
B
10
B
评审详细设计说明书
返回修改详细设计说明书
通过吗,
细化测试设计,生成测试设计说明书
源代码&单元(集成、
系统)测试通知单 记录并返回开发组
是否可测试,
单元(集成、系统)测试&测试日志 单元测试
修改错误
回测通过吗,
测试活动结束吗,
测试分析报告 11
附件6、项目类别、项目大小与测试阶段的对应关系
所有项目作测试计划、系统测试方案、系统测试、测试分析报告。根据项目大小、项目类别选作测试用例设计、单元测试、集成测试。
其中项目大小、项目类别由技术委员会确认。
项目大测试测试测试用单元集成系统项目类别 小 计划 方案 例设计 测试 测试 测试
大型 ? ? ? ? ? ? 产品开发 中型 ? ? ? ? ? ?
小型 ? ? ? * ? ?
大型 ? ? ? ? ? ? 新技术开发 中型 ? ? ? ? ? ?
小型 ? ? ? * ?
大型 ? ? ? ? ? ?
非标产品应用 中型 ? ? ?
小型 ? ? ?
大型 ? ? ? ? ? ?
* 政府资助 中型 ? ? ? ?
小型 ? ? ?
大型 ? ? ? ? ? ?
* 对外合作 中型 ? ? ? ?
小型 ? ? ? ?
?---测试活动中必须提交的文档或必须经历的测试阶段。
,---测试组可以委托开发小组作的单元测试阶段。
12