性能分析知识整理
性能分析知识整理
性能
Thinking Clearly about Performance
web 性能测试中的几个关键指标：并发用户数,QPS,用户平均请求等待时间
并发用户数和QPS两个概念没有直接关系，但是如果要说QPS时，一定需要指明是多少并发用户数下的QPS，否则豪无意义，因为单用户数的40QPS和20并发用户数下的40QPS是两个不同的概念。前者说明该应用可以在一秒内串行执行40个请求，而后者说明在并发20个请求的情况下，一秒内该应用能处理40个请求，当QPS相同时，越大的并发用户数，代表了网站并发处理能力越好。对于当前的web服务器，其处理单个用户的请求肯定戳戳有余，这个时候会存在资源浪费的情况（一方面该服务器可能有多个cpu，但是只处理单个进程，另一方面，在处理一个进程中，有些阶段可能是IO阶段，这个时候会造成CPU等待，但是有没有其他请求进程可以被处理）。而当并发数设置的过大时，每秒钟都会有很多请求需要处理，会造成进程（线程）频繁切换，反正真正用于处理请求的时间变少，每秒能够处理的请求数反而变少，同时用户的请求等待时间也会变大，甚至超过用户的心理底线。所以在最小并发数和最大并发数之间，一定有一个最合适的并发数值，在并发数下，QPS能够达到最大。但是，这个并发并非是一个最佳的并发，因为当QPS到达最大时的并发，可能已经造成用户的等待时间变得超过了其最优值，所以对于一个系统，其最佳的并发数，一定需要结合QPS，用户的等待时间来综合确定。
Thinking clearly about performance 总结
1.响应时间：系统完成一个指定任务需要的时间
2.吞吐量：系统在一个指定时间间隔内完成任务的总数（一般是一秒）
3.吞吐量和响应时间没有一个严格的倒数关系，比如一个系统的吞吐量是1000qps,那么不能简单的推断出每个任务的响应时间是1ms,这里面不存在简单的倒数关系。
4.系统的响应时间的百分比分布比一个简单的平均响应时间更为有用。因为前者和人的真实感受更为接近。
5.Load可以定义为在执行任务时，对资源的抢占情况
6.在一个完美的扩展性系统中，响应时间等于排队时间（为了等待资源而进行的排队）+处理时间
7.The knee:knee没有查具体什么意思，但是从文章看，我觉得应该是最佳吞吐量的那个点，作者自己定义这个点的方法是找出响应时间/资源占用率 的最大值的那个点，但是后来他介绍了他朋友Neil gunther的观点，他朋友的观点最佳吞吐量应该是开发人员觉得系统能容忍的最大响应时间下的吞吐量。对于互联网系统，我觉得应该还是后者适合一些。性能优化的一些方法论：
1.应该先尽量优化各个应用，而不要直接去优化一个全局的系统（比如多个应用都在使用同一个数据库，那么应该先优化各应用，再去优化数据库，直接优化数据库，肯可能出现满足了这个应用的性能，但是另外的系统性能可能恶化的局面出现）
2.优化的时候需要考虑成本收益及风险的关系，不一定要非得优化性能最差的那个点
java app的每次请求消耗内存和young区配置大小的关系
1、 Young区越大性能越好
2、 每次请求的内存M，和young区的内存Y ，Y超过M的100倍左右时QPS提升不再明显
3、 我们的监控能得到每个系统的每次请求的内存大小，然后根据young的配置，可以给出优化建议
4、 系统是否需要升级到64位可以由此进行判断
最佳线程数:
性能压测的情况下，起初随着用户数的增加，QPS会上升，当到了一定的阀值之后，用户数量增加QPS并不会增加，或者增加不明显，同时请求的响应时间却大幅增加。这个阀值我们认为是最佳线程数。
为什么要找最佳线程数
1.过多的线程只会造成，更多的内存开销，更多的CPU开销，但是对提升QPS确毫无帮助
2.找到最佳线程数后通过简单的设置，可以让web系统更加稳定，得到最高，最稳定的QPS输出
最佳线程数的获取：
1、通过用户慢慢递增来进行性能压测，观察QPS，响应时间
2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量
3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测，一般这个值的附近应该就是最佳线程数量。
影响最佳线程数的主要因素：
1、IO
2、CPU
根据公式：服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量
一般来说是IO和CPU。IO开销较多的应用其CPU线程等待时间会比较长，所以线程数量可以开的多一些，相反则线程数量要少一些，其实有两种极端，纯IO的应用，比如proxy，则线程数量可以开到非常大（实在太大了则需要考虑线程切换的开销），这种应用基本上后端（比如这个proxy是代理搜索的）的QPS能有多少，proxy就有多少。
另一种是耗CPU的计算，这种情况一般来讲只能开到CPU个数的线程数量。但是并不是说这种应用的QPS就不高，往往这种应用的QPS可以很高。
QPS和线程数的关系
1、在最佳线程数量之前，QPS和线程是互相递增的关系，线程数量到了最佳线程之后，QPS持平，不在上升，甚至略有下降，同时相应时间持续上升。
2、同一个系统而言，支持的线程数越多（最佳线程数越多而不是配置的线程数越多），QPS越高
QPS和响应时间的关系
1、对于一般的web系统，响应时间一般有CPU执行时间+IO等待时间组成
2、CPU的执行时间减少，对QPS有实质的提升，IO时间的减少，对QPS提升不明显。如果要想明显提升QPS，优化系统的时候要着重优化CPU消耗大户。
最佳线程数和jvm堆内存得关系：
以上都是依据性能瓶颈在CPU的情况，对于java应用还有一个因素是FULL GC，我们要保证在最佳线程数量下，不会发生频繁FULL GC
根据公式：：(小GC时间间隔/rt)*(并发线程数量 * thm) <=young 计算得到的并发线程数量如果<最佳线程数量 则可能导致FULL GC较频繁，实际情况看来这种情况在web系统上非常少。不过可以模拟出来。
所以我们在设置jboss线程的时候，可以利用内存公式计算出来的线程数量来设置，通过压测和计算得到最佳线程数，然后设置线程数。
设置线程数量：
压测最佳线程数<真实设置的线程数量<内存极限线程数
比如，通过压测得到某系统的最佳线程数量是10，然后通过内存计算的线程数量是20，则，设置jboss的线程数量为15是可行的，如果直接设置了10，由于系统本身会受到一些依赖系统的变化而产生一些变化，比如系统依赖一些IO的响应时间会突然延长，由于线程数量还是10，其实这个时候最佳线程数量已经变成了13了，由于我们设置死了10，其结果就是导致qps下降，但是如果超过20，则又会引起FULL gc非常频繁，反过来影响QPS的下降。
jboss的线程数设置：
对于jboss而言，设置线程数量要看使用了那种线程连接，如http、ajp等
http和ajp的设置是完全一样的，非常简单：
以ajp为例，找到server.xml或者tomcat-server.xml:
默认线程数量是200个
<Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3"maxThreads="200" minSpareThreads="40" maxSpareThreads="75" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>
这里将默认的线程数量改成了20，当然相应的其他最小空闲线程数和最大空闲线程数也做一下调整：
<Connector port="8009" address="${jboss.bind.address}" connectionTimeout="15000" protocol="AJP/1.3"maxThreads="20" minSpareThreads="20" maxSpareThreads="20" maxPostSize="512000" acceptCount="300" bufferSize="16384" emptySessionPath="false" enableLookups="false" redirectPort="8443" useBodyEncodingForURI="true"/>
术语说明：
QPS = req/sec = 请求数/秒【QPS计算PV和机器的方式】
QPS统计方式 [一般使用 http_load 进行统计]
QPS = 总请求数 / ( 进程总数 * 请求时间 )
QPS: 单个进程每秒请求服务器的成功次数单台服务器每天PV计算
公式1：每天总PV = QPS * 3600 * 6
公式2：每天总PV = QPS * 3600 * 8服务器计算
服务器数量 = ceil( 每天总PV / 单台服务器每天总PV )【峰值QPS和机器计算公式】
原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间
公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)
机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器问：每天300w PV 的在单台机器上，这台机器需要多少QPS？
答：( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)问：如果一台机器的QPS是58，需要几台机器来支持？
答：139 / 58 = 3
浙公网安备 33010602011771号