宣言的测试家园

独坐幽篁里,弹琴复长箫。深林人不知,明月来相照。
posts - 33, comments - 82, trackbacks - 1, articles - 2
  博客园 :: 首页 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理

浅谈软件测试概率性问题 

Posted on 2007-12-20 15:43 宣言 阅读(248) 评论(1)  编辑 收藏 所属分类: 测试技术

 

软件测试中常见的一个问题就是概率性问题,概率性问题无论对软件测试人员还是对开发人员而言都是比较头疼的一个问题。这种概率性问题在测试中该如何处理呢?

 

首先,概率性问题也是问题,这种我们千万不能一笑而过,在这种情况下测试人员要将这些问题记录下来,多做测试,看能否找出问题产生的规律。

 

其次,我们要对所出现的问题进行评估,看这种问题的严重性,如果是比较轻微的问题,对用户使用没什么影响,也不会影响到软件其他方面正常工作,那在这种情况下如果开发人员很随手就可修改的话,那就进行修改;如果修该起来耗时耗力的话,则可征得有关人员同意后进行keep.

再者,对于比较严重的概率性问题,如死机、系统崩溃等情况,在记录下问题的同时要及时通知相关开发人员,测试人员和开发人员商量解决如何再现并最终解决问题。对于这样的问题一定不能放过,记得以前在给佳能做传真机测试的时候,遇到一个出现系统自动重起的问题,结果为了抓这个问题,几个测试人员专门盯着这个问题反复的测试,为了这个问题整整测了一个星期,好在问题最后得以解决。

 

第四,有些问题用语言文字描述可能很难描述清楚,对于这样的问题,测试人员再进行描述的时候,有条件的话可以抓图和提供测试log.当然,如果有再现的话,最好通知开发人员,让开发人员确认问题的现象,毕竟百闻不如一见!

 

第五,概率性问题产生的原因可能是累积性问题,是一系列复杂操作引起的,而有些可能是时间点的问题,只有在某个瞬间进行操作才能出现,过了那个时间点进行操作时就不会出现问题,这样的问题测试人员在测试时和记录时都要注意采取合适的测试策略。

 

第六,有些概率性可能和测试人员的操作习惯有关,一个测试人员测试出的问题有时候即使描述的很详细,让另一个测试人员来测,可能都很难发现问题,所以概率性的问题在解决之后最好由相关测试人员进行验证。

 

第七,对于在一些难以重现的比较严重的概率性问题,有关测试人员还可以大范围的搜集相关信息,如可以群发消息询问其他测试人员或者产品试用人员,看他们在测试过程中有没有出现有关现象,搜集的信息越多越容易分析出问题的规律、原因,这样也便于开发人员解决问题。

 

第八,实际测试中,你会发现很多所谓概率性问题,经过反复、测试验证,还是能够找到一定规律的,只要按照有关操作进行,都可以百分之百出现。所以,概率性问题还是尽量分析原因、找规律,必要时做个专项验证测试。

 

第九,对于一些让开发人员也束手无策的难以再现的问题,这种情况下可以使用带trace的版本进行测试,再现时直接分析相应的log记录。当然这些都属于开发人员解决问题方式方法范畴,相信他们都有自己独到之处,在此就不班门弄斧了。

说了那么多,最后给出一个概率性问题专项测试的例子。

 

概率性问题测试分析实例:

 

测试背景:

项目为一款手机产品,在测试中遇到一个概率性问题:播放TV的时候来电,有的手机会出现重启动的问题,有的手机却没有遇到该问题,由于问题比较严重,所以,针对此问题做了专项验证。

以下有关测试记录:

XXX项目平台版本TV播放状态下来电专项测试

摘要

TV播放状态下来电,会出现无法接起来电的情况

测试方法

预置条件:
蓝牙相关
操作步骤:
1.测试机XXX进入TV播放状态;
2.
来电;
预期结果:
手机正常响应来电,不会出现重启等异常问题

XXX TV播放状态来电测试记录

 

1

2

3

4

5

6

7

8

9

10

手机和蓝牙耳机连接状态下,进行播放TV时来电测试,结果如下

0

P

P

P

P

P

P

P

P

P

P

1

P

P

P

P

P

P

P

P

P

P

2

P

P

P

P

P

P

P

P

P

P

3

P

P

P

P

P

P

P

P

P

P

4

P

P

P

P

P

P

P

P

P

P

5

P

P

P

P

P

P

P

P

P

P

6

P

P

P

P

P

P

P

P

P

P

此时使用蓝牙耳机重拨,手机重启.蓝牙不和手机连接,继续测试播放TV时来电,结果如下

7

R

P

P

P

R

P

P

P

P

P

8

P

R

R

P

P

P

P

P

P

P

9

P

P

P

R

P

R

P

P

P

R

10

P

R

P

P

P

P

P

P

P

P

此时拔去手机电池,重新开机,进行播放TV时来电测试,结果如下

11

P

P

P

P

P

P

P

P

P

P

12

P

P

P

P

P

P

P

P

P

P

13

P

P