一、什么是产品测试管理?

随着我国在人工智能、5G、物联网、新能源汽车、无人驾驶、低空经济、量子信息、生物制造等技术的广泛应用,产品的专业集成化程度越来越高,市场对产品品质的要求越来越高。近年来,"电动汽车、锂电池、光伏 “新三样”畅销全球, 涌现出像华为、比亚迪、迈瑞、大疆、海信、格力、美的、科大讯飞等一大批国际化创新型企业。经验表明,走向国际化的首要条件是高质量的产品和让客户满意的用户体验。产品测试作为产品质量保证的重要手段,已经引起了很多高科技企业的高度重视。常见的基于IPD流程测试框架如下:

 

 

测试需求分析与计划:对产品包的原始需求进行分析和测试策略的制订,并输出产品测试与验证计划;

测试设计与用例实现:特性测试设计(含资料、能效等专项设计)、硬件系统测试设计、单板硬件测试设计、EMC/安规/环境实验设计、硬件FIT测试分析设计、一致性测试分析与设计、小批量可靠性增长试验分析与设计、测试用例实现、验收测试指南写作;主要输出:测试方案(含硬件测试、资料测试、系统能效测试等专项测试内容)、测试用例、验收测试指南;

SDV(System Design Verification)系统设计验证 , 针对产品原型机的测试,验证系统的功能是否实现。

SIT(System Integration Test)针对初始产品的测试,包括系统功能、性能/指标、可靠性、可用性、容限/容错、组网、安全等系统属性的测试。

SVT(System Verification Test)验证制造流程,保证大批量生产时的可制造性,及设计的完整性,这一测试必须在界定好的客户发货级典型硬件上面实施。

 

二、为什么需要产品测试管理?  

产品测试是独立于开发人员的测试活动,为什么需要严格的产品测试呢?根据共创力咨询长期在测试领域的研究,主要有如下的几个原因:

 

 

1)开发人员缺乏完整的开发者测试设计,如软件开发,仅关注代码覆盖率,导致明显的测试遗漏;2)开发者测试避重就轻,造成项目转测试后来覆盖部分潜在风险或问题较多;3)开发人员交付的需求未考虑异常场景,转测试后存在各类异常问题,造成返工修改工作量大。产品测试需要考虑兼容性、可靠性、安全性等非功能性问题的测试设计。

在IPD端到端的产品开发流程中,产品测试从需求评审开始就要参与进来,并站在客户的角度对产品测试各环节的验证,包括原始需求、用户体验、研发质量、生产质量、包装质量、调测质量等等,最终要向客户交付满意的产品包需求。因此,产品测试是PDT团队中一员:

 

 

三、企业在产品测试管理活动中的常见问题

1、产品需求不明确,上线时间确定,测试团队压力山大

2、未立项,开发已进行过半,前期无控制,后期无保障

3、开发交付的文件,质量差,测试跟着做集成,上线交付质量无底线。

4、为什么BUG测试不出来,在用户使用中,在合作伙伴那里反而被测试出来

5、如何在短时间和资源不足的情况下,尽可能测试出多的BUG?

6、如何改变公司老板市场优先的意识。

7、如何减少重复工作的工作量?

8、如何更好对组员的测试质量监控

9、测试文档很多,如何保证测试文档的质量?

10、测试对象评价,对于领导来说,如何通过只看对象,得知该对象的哪些部分有问题,哪些部分没有问题同时得知对该对象的质量评价。

11、测试工作质量的评价

12、如何衡量测试的效率,及人员绩效考核?

13、如何改进测试过程?

14、如何通过自动化工具来降低产品测试的成本?AI工具如何辅助测试?

15、产品测试如果度量,如何建立测试的标准及基线?

16、测试管理者、工程师应该如何跟周边部门配合?

根据共创力多年的研发管理咨询经验,很多创新型的高科技企业之所以产品上市之后质量差,测试人员无成就感,测试团队不稳定,测试有效性达不到客户要求,测试质量标准缺失,测试人员的绩效无法衡量……这些都是由于没有推动端到端的产品测试管理导致的。

 

四、共创力产品测试管理模块的核心思想

共创力咨询自2014年成立以来,已帮助多家企业进行了产品测试管理体系建设与改进,我们的核心理念是:

共创力核心测试理念一:尽早测试,快速反馈;

共创力核心测试理念二:分层测试,内建质量;

共创力核心测试理念三:代表客户,开放测试;   

共创力产品测试管理包括五大模块:测试流程、测试组织、测试技术、测试人员、测试平台。

 

 

五、共创力咨询产品测试体系建设的方法和流程

共创力顾问组建议产品研发团队引入业界大获成功的基于IPD流程的产品测试管理模式,把产品测试按阶段划分为:BBFV、SDV、SIT、SVT四个阶段, 并对每个阶段的活动进行严格的定义和执行:

 

 

第一步:打通基于IPD流程的嵌入式产品测试端到端流程

 

 

实施方案:通过IPD体系打通端到端的产品测试流程体系,将测试活动前移, 如在概念阶段,提出可测试性需求;在计划阶段进行测试需求分析和测试策略及方案的设计, 在开发阶段进行测试用例的设计。

第二步:定义各个阶段的测试活动和角色职责

 

 

输出:TSE 、测试代表、测试工程师的岗位职责。

第三步:测试需求分析和测试技术的实践

 

 

第四步:通过TR对测试过程规范性进行管理

 

第五步:设置测试部门职责与质量目标考核

对测试部门的职责定位:测试部对产品满足需求的质量负责,确保明确的需求被正确的实现。

第六步:建立测试人员的任职标准和晋升通道

  • 测试系统类工程师的成长,首先要经过一段时间软件或硬件测试,有参与某产品或解决方案的测试经历,才能从事测试系统设计。
  • 负责R/C版本级测试系统工程师,必须通过选拔并通过TSE的相关培训才能上岗。

第七步:对咨询和培训的每个环节进行考试

共创力咨询团队在咨询过程中提供了大量的培训课程,包括课后试题和答案,对参与咨询和辅导的测试人员的能力进行了检验。

 

六、产品测试管理体系建设咨询的交付物

共创力咨询在产品测试咨询交付过程中会与甲方一起共同交付产品测试管理体系文件,并共同评审最终的部分交付件如下:

1、产品测试管理调研及主流程设计

  • 项目启动
  • 产品测试管理能力提升调研报告
  • 产品测试管理能力提升项目建议书
  • 产品测试主流程袖珍卡
  • 产品测试阶段流程图及模板
  • 产品测试主流程裁剪原则
  • 四个阶段活动指导书
  • 测试活动说明

2、产品测试组织结构及测试人员能力标准

  • 产品测试组织架构设计
  • 产品测试岗位设置
  • 产品测试人员的任职标准
  • 产品测试部门经理角色认识
  • 产品测试部门绩效考核机制
  • 产品测试部门运作白皮书
  • 产品测试人员能力提升

3、产品测试技术指导

  • 产品测试需求分析指导
  • 产品测试用例设计指导
  • 产品测试工具收集和规划
  • 缺陷管理技术
  • 自动化测试技术指导
  • 嵌入式测试指导
  • 可靠性测试及单元测试指导
  • 软件测试及硬件测试技术指导

4、产品测试平台建设

  • 缺陷管理平台建设(如禅道等)
  • 测试用例库建设
  • 测试案例库建设
  • 测试知识库建设

 

七、共创力研发咨询成功案例

1、国内某通信企业(中国500强企业,上市公司)   

2、中航工业集团某公司(军工企业,上市公司)   

3、南京某工业机器人企业(工业机器人龙头,上市公司)   

4、深圳某智能控制企业(伺服器龙头企业,上市公司)   

5、北京某人工智能企业(AI龙头企业,上市公司)   

6、国家电网某研究院(电网直属企业,上市公司)   

7、珠海某电力公司(电力安全龙头企业,上市公司)   

8、某激光装备企业(中国500强企业,上市公司)     

9、某芯片企业(GPU龙头企业,上市公司)   

10、医疗器械企业(医疗装备龙头企业,上市公司)……