正交分析法设计理论及实践


声明:本文转载自https://my.oschina.net/u/4007037/blog/3078187,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

一、理念介绍

在黑盒用例设计方法中有一个大家耳熟能详的正交分析法,却鲜有人知 “Pairwise”设计理念。

设想一种常见的场景,工期很紧的项目,原定的测试时间被“无理”地压缩之后,如何能用极少的时间去保证更高的质量呢?

举个例子,如果让你测试一下word字体效果,你会整理出多少个用例呢?

答案很简单是2的七次方=128个用例,但当工期特别紧的时候(128个用例执行不完)你又会从中选取哪些用例来执行呢?

“Pairwise”(官网: http://www.pairwise.org/)是行之有效的一个思路或者是强有力的理论基础。它是L. L. Thurstone(29 May1887 – 30 September 1955)在1927年首先提出来的。他是美国的一位心理统计学家。Pairwise也正是基于数学统计和对传统的正交分析法进行优化后得到的产物。

Pairwise基于如下2个假设:

(1)每一个维度都是正交的,即每一个维度互相都没有交集。

(2)根据数学统计分析,73%的缺陷(单因子是35%,双因子是38%)是由单因子或2个因子相互作用产生的。19%的缺陷是由3个因子相互作用产生的。

因此,pairwise基于覆盖所有2因子的交互作用产生的用例集合性价比最高而产生的。

举例来说明:当因子A为a1、B为b1时,接下来不可出现A为a1、B为b1 或者是 B为b1、A为a1(为什么会倒过来描述,可以思考一下)。

当然,在现实中会是有各种约束条件的,所以会出现IF … Then…,或者是在同一场景下,因子A、B、C之间的组合是可以精简的,而因子D、E、F、G却是需要全组合(在Pairwise中的术语称谓“阶”)。一个个完全依靠人工来进行输出太麻烦,各大contributor贡献出自己的开源工具,这里挑一个大公司的(微软)给大家介绍一下,工具名PICT。

工具下载地址:https://github.com/Microsoft/pict

最新的版本支持多平台(linux、mac、windows),需要自行编译。

二、PICT工具使用

1)先准备一个文本文件abc.txt,内容如下:

直接运行pict abc.txt即可得到pairwise之后的结果:

如果需要全组合情况,则可以在命令行参数中指定/o:3,其中3是因子的个数,(/o的默认值是2,此参数为上面所述的“阶”)如:

2)在文本中指定因子的组合情况,

直接运行pict abc.txt 即可得到全组合的

3)因子判断结构:

输出的结果:(满足了当A为a1时,B不等于b2,C 不等于c3)

三、案例实践

以“星火钱包——开户管理”的 “查询” 功能测试为例来详细介绍一下PICT工具的使用思路和过程。

查询因子有:“星火用户ID”、“开户状态”、“开户渠道”、“开户时间”,其中每个因子的限制如下:

  • 星火用户ID:不限制输入的内容
  • 开户状态:请选择(默认)、开户成功、开户失败
  • 开户渠道:请选择(默认)、开户成功、开户失败
  • 开户时间:选择时间区间范围(前端页面的限制:填写其一,另外一个值会自动填充相同的时间,结束日期>=开始日期)(先不考虑后台接口的限制)。

每个因子需要考虑值的范围为:

星火用户ID:空(默认)、非数字、120988476548、120988476900

(假设120988476548是可以查询出结果的,120988476900是查询不出结果的)

开户状态:请选择(默认)、开户成功、开户失败

开户渠道:请选择(默认)、PC、wap、app

开户开始时间:空(默认)、20150101、20160101、20170101

开户结束时间:空(默认)、20150101、20150301、20160201、20160301、20171101

“星火用户ID”、“开户状态”、“开户渠道”这三个因子,比较好整理,如图所示,直接按照上面的内容直接填写至文件中即可:

而“开户开始时间”“开户结束时间”有依赖性,所以,需要特殊处理,我们将它们之间的依赖“翻译”成PICT所能理解的方式:

1)“填写其一,另外一个值会自动填充相同的时间”

换句话说,“开户开始时间”“开户结束时间”只能同时为空。

“翻译”:

IF [开户开始时间] = "空" THEN [开户结束时间]= "空";

IF [开户结束时间] = "空" THEN [开户开始时间]= "空";

(

当然,你也可以这样写:

IF [开户开始时间] NOT IN {"20150101","20160101","20170101"} THEN [开户结束时间]= "空";

IF [开户结束时间] NOT IN {"20150101","20150301","20160201","20160301","20171101"} THEN [开户开始时间]= "空";

)

2)“结束日期>=开始日期”

“翻译”:

IF [开户开始时间] <> "空" AND [开户结束时间] <> "空" THEN [开户开始时间] <= [开户结束时间];

准备好全部的“翻译”结果,如图所示:

我们先看一下“全组合”的用例总数为多少?答案481条,如图所示:

使用Pairwise思想,整理出的用例数量仅为30条,如图所示:

用例的详细内容如下:(每行即每条用例)

星火用户ID开户状态开户渠道开户开始时间开户结束时间
120988476900请选择请选择
120988476548开户失败PC2015010120171101
非数字开户失败wap
120988476900开户成功app2015010120150301
请选择pc2016010120160301
120988476548开户失败app2016010120160301
开户成功wap2017010120171101
开户失败请选择2015010120150301
非数字开户成功pc2015010120150101
请选择wap2015010120150101
非数字开户成功请选择2016010120171101
非数字请选择app2015010120160301
120988476548开户成功app
120988476548请选择app2016010120160201
120988476900开户失败wap2016010120160201
120988476548开户成功wap2015010120160301
非数字开户成功请选择2015010120160201
开户成功pc
120988476900请选择app2017010120171101
120988476900开户失败请选择2015010120150101
请选择app2015010120160201
120988476548开户失败app2015010120150101
120988476900开户成功请选择2015010120160301
120988476900请选择pc2015010120150301
120988476548开户失败请选择2017010120171101
120988476548开户失败wap2015010120150301
请选择pc2015010120160201
非数字请选择请选择2015010120150301
非数字开户成功pc2017010120171101

四、总结

Pairwise是一种有效的测试用例生成技术,通过对测试变量的所有维度及值的组合,避免穷举测试所有维度的所有值及其组合来减少测试用例量。

遥想当年,Cohen等人应用Pairwise测试技术对Unix中的“Sort”命令进行了测试,测试结果表明覆盖率高达90%以上。

对于当今迭代开发测试如此高效率的时代,更需要将这种测试方法,并将其应用于测试当中。

作者:宋金刚

来源:宜信技术学院

本文发表于2019年07月24日 11:00
(c)注:本文转载自https://my.oschina.net/u/4007037/blog/3078187,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 1378 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1