性能测试六：性能测试流程

一、需求调研分析

---

 主要内容：

1. 系统上线环境性能需求（TPS、ART、成功率、资源利用率）

2. 系统信息（线上环境硬件、参数配置、系统架构、部署方式、关联系统部署）

3. 业务信息（关键业务逻辑与处理流程、交易列表、交易量信息、业务分布规律）

4. 数据规模（测试业务关联表数据量及预计未来数据量）

5. 测试人员、配合人员清单

6.系统上线时间，测试计划规划

7.测试场景确认

 

工作产出：

《xxx系统非功能测试需求调研表》

 

二、测试方案

---

1.概述

1.1 文档目的： 本文档对本次性能测试的需求、范围、方法、计划、资源、环境部署等信息进行规划和设计，并以此作为性能测试的实施依据和指导大纲。本文档的目的主要有：

• 明确性能测试目标；
• 明确性能测试范围和测试对象；
• 明确性能测试场景、测试内容以及测试的方法和步骤；
• 明确性能测试环境部署，包括：测试需要的软、硬件环境等；
• 明确各方在性能测试实施过程中的角色和职责；
•  指导性能测试的实施。

      本文档预期读者有项目经理、开发人员、性能测试人员、系统和网络维护人员以及业务人员。（因测试方案大都为专业人员测试方案应尽量以专业、细致表述为主）

1.2 名词释义：如ART 、TPS 、VU名词解释（可省略）

1.3 参考文档：一般包括《接口文档》《用户需求说明书》《非功能需求说明书》《xxx系统非功能测试需求调研表》等

2.测试目标

　　2.1 项目背景： 描述立项原因及要达到的目的，明确项目类型是新建/重建/改造

　　2.2 测试目标： 描述被测系统的测试场景及每个测试场景要达到的非功能需求

3.角色与职责：

描述项目组人员PMO、性能测试管理、性能测试执行、开发人员、运维人员、网络环境人员

4.测试范围

　　4.1 测试模型： 单系统（单交易模型、混合模型）、全链路压测

　　4.2 测试指标：

　　性能指标：TPS、不同类型接口ART、成功率、资源使用率、稳定性时长

　　高可用指标： 容器、集群、数据中心、灾备中心各个级别RTO、RPO

　　全链路指标： TPS、不同类型接口ART、成功率、资源使用率、稳定性时长

5.系统架构

　　5.1 生产环境架构

　　5.2 测试环境架构

　　5.3 生产环境软硬件配置：

　　包括机器所属服务、机器类型（虚拟机、物理机）、机器数量、硬件配置（CPU、内存、磁盘）、操作系统、软件类型（JDK版本）

　　5.4 测试环境软硬件配置

6.测试资源

　　6.1 测试工具： Jmeter 、LoadRunner（收费）、Ngrinder

　　6.2 挡板

　　6.3 发压机及要求

7.测试约束

　　7.1 准入标准

• 性能测试方案或计划编写完成，并通过评审；
• 模拟生产环境（测试环境）搭建完毕，具体如下：

1. 测试环境设备安装调试完毕；
2. 测试数据已经准备完毕，并经过脱密，初始数据量满足测试要求；
3. 应用服务器安装成功，待测版本已正确部署；
4. 测试客户端机器到位，所需软件安装完毕；
5. 网络配置正确，连接通畅，可以满足压力测试需求；
6. 测试挡板开发准备并调试通过，且挡板性能不能成为瓶颈
7. 测试环境得到客户项目组、测试组的确认；

• 整个系统功能趋于稳定，并且选取的性能典型业务的功能正常可用；
• 测试组人员、各部分专家到位，即测试所需资源全部到位。
• 原则上参与性能测试的系统，需要提供在场内自测通过的性能测试报告，并经技术管理组审核。

　　7.2 准出标准

• 测试案例执行率达到100%；
• 系统各项性能指标达标；
• 测试过程中发现的性能缺陷有明确一致的处理意见；
• 测试报告评审通过。

8.测试策略

　　8.1 发起策略： 明确各个测试场景交易链路，组件名称

　　8.2 挡板策略： 说明系统哪些交易使用挡板，挡板要求如下：

• 挡板处理能力能支持交易完成被测系统内整个业务处理主流程；
• 挡板性能能够支撑实施性能测试，不能成为性能瓶颈。

　　8.3 监控策略：

• 云上一般采用自带监控平台、虚拟机和物理机如无运维平台使用nmon

• 间件资源监控：RMS工具已经融合了对消息队列，jvm的监控，在测试期间可以实时获取

• 数据库资源监控：使用druid对集群和各个租户进行性能监控，包括吞吐率、事务、存储与缓存、SQL执行效率等方面进行监控。

• 使用skywalking工具进行链路追踪。

　　8.4 测试数据：

　　说明关键业务表存量数据（以未来3-10年为准）量及增长率

9.测试计划

10.测试内容

　　描述各个测试场景的测试目的、测试方法（包括测试模型）、准入、准出

11.风险

　　测试环境差异风险；版本更新风险；调优影响测试计划风险；

12.交付物

《测试方案》、《测试用例》、《调研表》

 

三、测试准备

---

　　1.测试环境部署、监控部署、存量数据准备

　　2.测试环境验证：测试环境操作系统、CPU、内存、磁盘、网络带宽、TCP设置、JDK版本、数据库关键表数据量、压力机检查

　　3.测试脚本准备： 脚本编写、调试、测试数据准备

工作产出： 测试脚本

 

四、测试执行

---

 　   1. 执行测试用例：

　　通过对测试结果的分析决定重复执行或执行新案例，通常发现问题会立即调整重新执行，直到通过。在执行、分析调优、回归测试较为反复。

　　2. 获得系统处理能力指标数据： 结果记录、测试监控。

　　3. 发现性能缺陷：故障诊断、性能调优（此处为重点和难点）

 

工作产出：《xxx系统非功能测试缺陷跟踪表》

 

五、测试报告

---

 1. 背景

　　1.1 项目背景

　　1.2 测试目的

　　1.3 参考文档

2 .测试环境描述

　　2.1 测试环境架构与生产环境对比

　　2.2 测试环境配置与生产环境对比

3. 测试场景及指标

　　描述测试指标

4. 测试策略

　　描述测试工具、监控策略、压力机配置和数量、挡板、存量数据量

5. 测试结果分析

　　5.1 测试场景：描述测试场景的测试方法

　　5.2 测试结果：

　　表格形式列出TPS、ART、成功率；

　　如容量梯度测试，需利用“折线图”表述梯度

　　5.3 结果分析：

　　描述并发数、发压时间、及测试结果，是否满足预期性能指标。

6. 结论和建议

　　6.1 对整个非功能测试场景进行概括包括非功能指标测试结果。

　　6.2 问题与调优

　　整理测试过程中的缺陷，表格描述缺陷现象及导致原因及解决办法

　　6.3 未测试场景

　　6.4 风险及建议

 

六、测试总结

---

 1.测试团队内部以会议形式对该任务的测试过程和测试技术进行总结归类。

2.将所有的重要测试资产进行归档保存。