非功能测试质量体系建设

目的

目标定位：提高非功能需求交付质量，推动整个研发过程的效能提升。

规划方向：

1、质量标准化

规范非功能测试质量流程、统一评估标准。

               -- 线上质量（线上性能及故障bug数 减少）

               -- 过程质量（接口及场景覆盖、测试类型覆盖、测试有效性 增加）

2、线上保障

快速发现线上非功能问题。 

3、增效

持续提高测试执行效率。

4、赋能

培养全员非功能质量意识。

抓手

如何推动：绩效考核，少数关键（各业务小组指定对接人）

执行策略： 差异执行(结合项目水平分阶段落实）、标杆示范（先局部再所有）、合作共赢（尝试与外部平台共建）

主要工作： 质量体系、自动化工具/平台搭建、质量可视化、赋能

质量保障体系

（涉及公司内部信息，已删减）

质量保障手段

分层闭环：

阶段	介入方式	措施	期望
需求分析	研发需求评审、性能需求评审	评审阶段同步系统架构设计及运维层面的非功能影响点	需求/设计质量闭环
开发阶段	提供支持	1、赋能，推广java编写方式对性能影响的相关知识点； 2、优化性能测试准入条件，增加研发侧的性能自测； 3、提供自动化执行和分析的性能测试工具；	代码层面的非功能质量闭环
测试阶段	性能测试（人工）	1、性能需求测试 2、版本回归 3、核心模块摸底 4、专项故障演练 5、上线评审	版本非功能质量闭环
运维阶段	线上巡检（自动）	线上性能数据分析、服务质量评估 环境：预发、灰度、线上	线上非功能质量闭环

简化流程图：

成果评估

1、项目组交流

多与研发团队沟通，关注质量体系落实的效果、痛点及建议。

2、季度汇报

线下bug数据（对比、分布、同类问题的减少趋势）

线上非功能质量情况（对比、趋势）

效率提升范围

赋能落实情况

项目实践

常见的项目痛点及改进分析

领域	痛点	改进分析
性能测试	系统不断拆分、版本功能迭代频繁，前期性能需求评估不到位，导致问题在线上暴露	1、增加性能QA在整个研发流程中的介入时间点 2、增加非功能验证手段 3、增加研发组的性能意识
	线上问题对接不及时、总结和改进落地不到位	1、增加线上巡检粒度 2、规范线上bug流程 3、定期回溯线上问题
	研发性能自测的问题：开发性能测试意识、开发如何提测、性能测试排期	性能测试技术宣讲、性能测试流程规范，执行过程可视化
	项目和功能测试流程有规范，但是非功能没有严格卡点，执行落地效果差	非功能测试流程规范
	版本提测质量大多较差，提测延期占比高，测试风险和时间不可控	1、前置风险点，架构和代码层面的风险在需求和研发性能自测阶段规避 2、非功能测试流程规范
	服务器接口和场景覆盖率提升	监控完善：接口测试覆盖率统计自动化。性能测试如何计算覆盖率？
	性能测试价值体现：性能问题解决后在线上效果怎样	线上性能数据收集和晾晒（如何做到更自动化分析和评估）
效率提升	人少需求多，如何carry全场	需要对工作中的痛点具体分析

 

备注：改进点需要制定DOE，就是怎么算这个痛点解决及对应方案落地的硬核指标。

举个例子，

线上bug流程规范- DOE包括：

规范文档的输出和评审通过 20200501

设定xx业务系从x月x日试行3个月，输出回溯记录，落地执行符合度指标 20200801 

改进措施细化

1、流程规范

改进点	改进内容
性能需求提测规范	包括提测流程、准入准出标准、自测规范、提测内容、性能自测通过的标准等
测试流程规范	增加版本回归规范、测试执行周期规范
输入输出规范	测试输入内容规范 测试输出内容规范
线上bug跟进流程	线上bug流程规范：线上bug的定义，线上bug的反馈、确认、定位、记录、解决等流程，包括：搜集范围、填写规范、汇总方式等 线上bug回溯流程规范：回溯的方式及频率，线上bug总结的输出、跟踪等，包括触发条件（级别/类别）、关注点（影响、修复时间、整改方式） 新增季度线上问题汇总/汇聚

 

2、线上质量：线上巡检

改进内容：

1. 快速获取核心集群的监控数据（切片、趋势）
2. 增加核心基础服务的监控数据采集和指标数据采集（切片、趋势）
3. 日常慢请求监控分析和展示（切片、趋势）
4. 基于监控数据最好容量规划和管理，展示核心集群的容量情况

3、线下质量

1）服务器接口覆盖率提升

2）测试类型增加：故障演练+服务治理（本文不展开）

3）通过赋能提高全员性能意识（本文不展开）

4、测试价值

线上质量评价，质量可视化平台

评价标准：

1）性能指标

 TPS/RT等

2）稳定性指标

请求失败率、告警次数、故障次数、线上事故

3）服务质量指标（本文不展开）

根据服务等级、服务性能指标、服务稳定性指标综合分析

5、效率提升

本文不展开