产品测试管理面临的五大问题

什么是产品测试管理？

产品测试管理（简称PTM，Product Test Management），是指产品从需求分析到发布维护全生命周期中测试活动的系统性管理过程，其核心是通过规划、组织、协调和控制测试工作，确保产品质量与稳定性，以满足客户需求。如图所示，以下是一个软件产品的测试管理过程：

 

随着中国国内科技的快速发展，新兴领域如机器人、低空飞行器、智能汽车、光伏储能设备、移动电源等产品不断推陈出新， 如何做好产品测试验证工作，是目前最重要的工作之一，小米近期因电芯安全隐患问题，主动召回部分型号充电宝共计146，891台，并且每台定价159元全额退款。经查明：原因是部分产品使用了供应商安普瑞斯（APRS）的126280型电芯2.0版本，极少数可能在极端场景下出现过热或燃烧风险。

从小米召回的案例可以看到， 产品发布前的测试管理工作至关重要。

 

产品测试管理工作面临的问题

在不同的领域中，产品测试活动展现着各个专业的风貌，如软件测试、硬件测试、结构测试等。有的测试需要成百上千人的专业团队，在高精尖的大型设备辅助下才能完成，如对于火箭发射的测试。有的测试可能仅仅需要一位还在读本科的实习生，在手机屏幕上动动手指就可完成。对某些被测对象而言，获得其理想结果和现实结果并不需要特别多的专业知识，这让测试从表面上看起来“门槛并不高“，然而，测试的从业者、研究者，或者对测试有一定程度认知的研发生产人员，都会同意这样一个结论：在实际的资源约束下，测试是一项非常困难的工作。共创力咨询将测试的困难归结为五个基本问题。如果想较好地实现“评估质量”和“检出缺陷”的目标，测试者至少要在一定程度上缓解这些问题：

1）测试的标准难以界定，什么样的测试结果是符合用户需求的测试；

2）测试的完整性问题，即需要覆盖哪些测试，如功能、性能、安全、可靠性、可维护性等；

3）测试的选择性问题，即在时间和资源紧张的情况下，如何对测试场景做出取舍，哪些测试优先进行？

4）测试的可信度问题， 被测对象的质量， 一般是由测试人员在测试的报告中给出结论，如何做到真实可信？

5）测试的准则问题，在产品需求十分抽象，但要求测试用例十分具体的情况下，如何做好测试的设计？

 

问题一：如何界定测试的标准

如何界定测试的标准呢？根据共创力咨询长期的咨询经验和归纳总结，测试的标准有国际标准、行业标准、企业标准三个层级，有些行业有自已的产品质量标准，如医疗行业有ISO13485、汽车行业有IATF 16949， 如果没有行业标准， 一般的企业有自已的企业标准。因此，对于测试的验收标准建议参考下图： 

也就是讲，测试的原始需求不仅要遵从用户需求，还需要针对一些行业标准进行测试，而不仅仅是开发人员的设计需求规格书。‌

 

问题二：测试的完整性如何定义?

测试的完整性包括采用什么样的测试类型，以及对需求的覆盖是否完整两个维度。根据共创力咨询在多个咨询项目中总结的经验，对于测试类型，每个公司都会根据自己的产品特点形成测试类型库：

 

产品测试人员在进行测试设计时会根据产品的需求对测试类型进行选择，从而形成某个产品型态的测试类型的集合。 

再来看看第二个维度，如何实现对需求的完整覆盖。这里一般采用的是测试需求跟踪矩阵，即测试用例与产品需求的映射关系。

 

问题三：产品测试如何选择优先测试项？

在绝大多数情况下，为了将测试的成本控制在可接受范围之内，我们不能在整个测试输入空间上进行“穷尽”的测试，只能从中选取一部分事件作为测试用例。资源约束决定了用例数量的上限，剩下的关键问题就是如何选择？选择哪些事件，才能更准确地评估被测对象的质量?选择哪些事件，才能更有效地检出缺陷?或者一言蔽之：选择哪些事件，才能实现最充分的测试? 共创力咨询建议， 需要重点考虑以下三个要素：

• 测试需求的使用频率
• 需求对整个系统的影响程度
• 需求失效的可能性

对于回归测试，在时间和人力十分紧张情况下，可以考虑以下面的顺序进行回归测试：

• 高优先级：主要功能（关键特性）、关键接口
• 中优先级：局部特性和非关键接口方面（局部特性和接口）
• 低优先级：维护和设置功能、界面/约束 。

 

问题四：如何解决测试的可信度问题？

测试者关于被测对象质量水平的评估结论，决定了被测对象的前途命运，也决定了整个研发生产活动的后续状态。这一结论的可信性，攸关测试者的信誉。测试者应该清楚地认识到自己在观察能力上的局限性，避免给出任何武断的评估结论。

那么我们究竟能够给出怎样的质量评估结论?除了合理的测试选择之外，测试人员还应该采用哪些手段，才能让测试的质量评估结论更可靠、可信?这就是“测试可信性问题” 。

根据共创力咨询的经验，有两种方法可以提高测试的可信度问题：

1）产品在客户现场的试用测试， 即产品在发布前，可以安装到客户环境下进行Beta测试，客户对质量的反馈即可反映产品在公司的测试质量情况。

2）第三方送检测试。即把产品的样品送到第三方机构如华测检测、倍测检测、华通威等第三方检测机构，即可评估在实验室的测试的可信度问题。

 

问题五：如何解决测试的准则问题？

很多时候，被测对象的理想与测试用例预期结果之间的映射关系并不确切。譬如，对一些高度复杂的数值计算程序来说，理想通常被粗略地描述为“给出正确的计算结果”，而测试用例所需要的预期结果，则应该类似于“正确的计算结果是2.718281828459045”;另一方面，在进行预期结果与实际结果的对比时，需要针对每一个信息项进行观察。如果这些信息项过于庞杂，或者关于某个信息项的观察过于复杂，那么我们就需要为这个用例的执行付出高昂的成本。如何在质量、成本和效率之间达成一个平衡点，或者执行成本过高时，如何为测试用例找到明确、适当的测试准则? 

共创力咨询认为，要解决测试成本和质量效率平衡的问题，首先需要进行测试需求分析和设计活动，制订测试策略，并对测试用例的颗粒度和规模进行决策，明确重要的测试项，而不是“穷尽”测试。 如下图：

在这个阶段，测试系统工程师（TSE）需要完成三件事：

1）TSE召集讨论确定测试类型及其子类型

2）明确各测试类型分析思路

3）控制分析的粒度