生产环境数据库是如何进行性能测试的
首先得先对这个数据库进行一个较为基本的基准压测。
你得基于一些工具模拟一个系统每秒发出1000个请求到数据库上去,观察一下他的CPU负载、磁盘IO负载、网络IO负载、内存复杂,然后数据库能否每秒处理掉这1000个请求,还是每秒只能处理500个请求?这个过程,就是压测。
你不光用工具每秒发送1000个请求,还可以模拟每秒发送2000个请求,甚至3000个请求,逐步的测试出来,这个数据库在目前的机器配置之下,他大致的一个负载压力如何,性能表现如何,每秒最多可以抗多少请求。
有可能,你的数据库每秒可以抗下2000个请求,但是你的Java系统每秒只能抗下500个请求,这也是有可能的。所以你不能光是针对Java系统去进行压测,在那之前也得先对数据库进行压测,心里得有个数。
QPS 和 TPS 到底有什么区别
QPS,他的英文全称是:Query Per Second。
QPS就是说这个数据库每秒可以处理多少个请求,你大致可以理解为,一次请求就是一条SQL语句,也就是说这个数据库每秒可以处理多少个SQL语句。
对于QPS而言,其实你的一些Java系统或者中间件系统在进行压测的时候,也可以使用这个指标,也就是说,你的Java系统每秒可以处理多少个请求。
TPS,他的英文全称是:Transaction Per Second。其实就是每秒可处理的事务量,这个TPS往往是用在数据库中较多一些,其实从字面意思就能看的出来,他就是说数据库每秒会处理多少次事务提交或者回滚。
因为大家应该都对数据库有一个基本的了解,就是他的事务到底是什么?
简单来说,一个事务就会包含多个SQL语句,这些SQL最好要么就是事务提交,大家一起成功了,要么就是最好事务回滚,大家一起失败了,这就是事务。
所以TPS往往指的是一个数据库每秒里有多少个事务执行完毕了,事务提交或者回滚都算是事务执行完毕了,所以TPS衡量的是一个数据库每秒处理完的事务的数量。有一些人往往会把TPS理解为是数据库每秒钟处理请求的数量,其实这是不太严谨的。
IO相关的压测性能指标
(1)IOPS:这个指的是机器的随机IO并发处理的能力,比如机器可以达到200 IOPS,意思就是说每秒可以执行200个随机IO读写请求。
这个指标是很关键的,因为之前我们在数据库架构原理中讲解过,你在内存中更新的脏数据库,最后都会由后台IO线程在不确定的时间,刷回到磁盘里去,这就是随机IO的过程。如果说IOPS指标太低了,那么会导致你内存里的脏数据刷回磁盘的效率就会不高。
(2)吞吐量:这个指的是机器的磁盘存储每秒可以读写多少字节的数据量
这个指标也是很关键的,因为大家通过之前的学习都知道,我们平时在执行各种SQL语句的时候,提交事务的时候,其实都是大量的会写redo log之类的日志的,这些日志都会直接写磁盘文件。
所以一台机器他的存储每秒可以读写多少字节的数据量,就决定了他每秒可以把多少redo log之类的日志写入到磁盘里去。一般来说我们写redo log之类的日志,都是对磁盘文件进行顺序写入的,也就是一行接着一行的写,不会说进行随机的读写,那么一般普通磁盘的顺序写入的吞吐量每秒都可以达到200MB左右。
所以通常而言,机器的磁盘吞吐量都是足够承载高并发请求的。
(3)latency:这个指标说的是往磁盘里写入一条数据的延迟。
这个指标同样很重要,因为我们执行SQL语句和提交事务的时候,都需要顺序写redo log磁盘文件,所以此时你写一条日志到磁盘文件里去,到底是延迟1ms,还是延迟100us,这就对你的数据库的SQL语句执行性能是有影响的。
一般来说,当然是你的磁盘读写延迟越低,那么你的数据库性能就越高,你执行每个SQL语句和事务的时候速度就会越快。
压测的时候要关注的其他性能指标
除了上面说的QPS、TPS、IOPS、吞吐量、latency这些指标之外,在压测的时候还需要关注机器的其他一些性能指标。
(1)CPU负载:CPU负载是一个很重要的性能指标,因为假设你数据库压测到了每秒处理3000请求了,可能其他的性能指标都还正常,但是此时CPU负载特别高,那么也说明你的数据库不能继续往下压测更高的QPS了,否则CPU是吃不消的。
(2)网络负载:这个主要是要看看你的机器带宽情况下,在压测到一定的QPS和TPS的时候,每秒钟机器的网卡会输入多少MB数据,会输出多少MB数据,因为有可能你的网络带宽最多每秒传输100MB的数据,那么可能你的QPS到1000的时候,网卡就打满了,已经每秒传输100MB的数据了,此时即使其他指标都还算正常,但是你也不能继续压测下去了
(3)内存负载:这个就是看看在压测到一定情况下的时候,你的机器内存耗费了多少,如果说机器内存耗费过高了,说明也不能继续压测下去了

浙公网安备 33010602011771号