bapiera

导航

JVM之垃圾回收机制(GC)

 

JVM之垃圾回收机制全解(GC)文章底部有思维导图,较为清晰,可参考

导读:垃圾回收是Java体系中最重要的组成部分之一,其提供了一套全自动的内存管理方案,要想掌握这套管理方案,就必须了解垃圾回收器的工作原理。本文介绍了垃圾回收的概念,算法,垃圾回收器及我在工作中遇到的一些关于GC的优化实例。

 

先来简单了解下JVM:

 

 

 

-------------------------------------------------------------
一、heap内存划分
-------------------------------------------------------------

1.年轻代:分三个区。一个Eden区,两个Survivor区(from Survivor(s0)区和to Survivor(s1)区)。
大部分对象在Eden区中生成。当Eden区满时,还存活的对象将被复制到Survivor区(两个中的一个),当这个Survivor区满时,此区的存活对象将被复制到另外一个Survivor区,当这个Survivor去也满了的时候,从第一个Survivor区复制过来的并且此时还存活的对象,将被复制“年老区(Tenured)”。

2.年老代
在年轻代中经历了N次((ParNew默认15))垃圾回收后仍然存活的对象,就会被放到年老代中。年轻代放不下的大对象直接进入老年代。
tip1:对象动态年龄计算规则
虚拟机并不是永远地要求对象的年龄必须达到了MaxTenuringThreshold(默认15次)才能晋升老年代,如果在Survivor空间中相同年龄所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象就可以直接进入老年代,无须等到MaxTenuringThreshold中要求的年龄。

3.持久代
用于存放静态文件,如今Java类、方法等
JDK1.8中,永久代已经从java堆中移除,String直接存放在堆中,类的元数据存储在meta space中,meta space占用外部内存,不占用堆内存。

              

 

 


-------------------------------------------------------------
二、GC回收算法
-------------------------------------------------------------


2.1 标记清除算法:标记清除分为两个阶段,标记阶段(标记从根节点开始的所有可达对象,未标记即未被引用)和清除阶段。缺点:两个阶段效率都很低;回收后内存空间不连续,产生碎片多,易导致提前GC。

2.2 复制算法:内存等分两块,相互复制存活的对象后清洗垃圾 缺点:内存利用率低

2.3 标记压缩法:先标记,然后存活的向一段移动,清理存活端标记以外的内存。(老年代使用,无需需要第二块相同的内存) 优缺点:无内存碎片,但是耗时。

2.4 分代算法:复制算法(新生代使用) ,标记压缩法和标记清除法(老年代使用)。卡表(数据结构,一个比特位的集合),用来表示老年代对象是否持有新生代对象的引用,新生代无需再花时间确认对象是否被持有,可以加快新生代回收的速度。

2.5 分区算法:将整个堆空间划分为连续不同的小的空间,独立管理,独立回收。

垃圾回收基本思想在于如何判断对象的可触及性。根据标记清除算法,可以扫描出root节点未触及持有的对象,但一个无法触及持有的对象有可能在某个时间下使自己复活。

对象的可触及性的三种状态:
可触及的
可复活的(finalize()函数)
不可触及的(finalize()函数只能调用一次)

2.6 引用和可触及的强度分为4个级别

强引用:任何时候都不会被系统回收,亦可能会引起OOM。 例:StringBuffer str = new StringBuffer("juejin");

软引用:GC不一定回收,但堆空间不足时会被回收。OOM之前一定会回收,所以软引用不会引起OOM。 使用SoftReference创建的对象。

弱引用:发现即回收。使用WeakReference创建的对象。使用PhantomReference创建的对象。

虚引用:随时可回收。


-------------------------------------------------------------
三、分代垃圾回收
-------------------------------------------------------------


3.1 young代采用复制算法

3.2 old代使用标记清除或者标记清理

3.3 Tip:对象优先在Eden去分配,大的对象直接进入老年代,长期存活对象进入老年代。


-------------------------------------------------------------
四、垃圾回收器
-------------------------------------------------------------
tip:Stop The World(STW)1、为了让垃圾回收器可以正常切高效执行。2、保证了系统某个瞬间的一致性。3、有益于垃圾回收器更好地标记垃圾对象。

 

4.1 串行回收器

单线程GC,启动时会停止应用,适用于配置小的服务器(1C2G),基本已弃用


4.2 并行回收器PS(吞吐量优先)

JDK1.6~1.8默认使用。垃圾线程并行,启动时应用会等待。
PS的新生代回收器有两个。
(1)、ParNew回收器:多线程执行垃圾回收。PS的线程数量可以用-XX:ParallelGCThreads指定。当CPU<8时,ParallelGCThreads的值=CPU,CPU>8时,ParallelGCThreads的值=3+((5*CPU_count)/8)。适用于交互较弱的场景。JDK1.8以上已经被删除。
(2)、Parallel回收器:与ParNew一样是多线程独占式。但其特点是关注系统的吞吐量(吞吐量:花费在垃圾收集时间和花费在应用时间的占比)。
使用方法:-XX:+UseParallelGC(设置老年代-XX:+UseParallelOidGC)

 

4.3 并发回收器(响应时间优先)(并行GC前会额外触发新生代的GC)

与并行回收器不相同的是,并发收集器是非独占式,在进行垃圾回收的时候应用程序也可以运行。

主要有Concurrent Mask Sweep(CMS)和G1

JDK1.9默认使用G1。适用于对响应时间有要求的场景。响应时间:花费在应用时间和花费在垃圾收集时间的占比。

CMS(以获取最短回收停顿时间为目标的收集器,基于并发“标记清理”实现)

过程:1)初始标记(标记root对象) 2)并发标记 3)预清理(准备及控制停顿时间) 4)重新标记 5)并发清除 6)并发重置

优点:并发收集、低停顿。

缺点:
1)CMS对CPU资源敏感。在并发阶段,它虽然不会导致用户线程停顿,但是会因为占用了一部分线程而导致应用程序变慢,总吞吐量会降低。
2)CMS无法处理浮动垃圾,可能会出现“Concurrent Mode Failure(并发模式故障)”失败而导致Full GC产生。
3)CMS容易出现大量空间碎片。当空间碎片过多,将会给大对象分配带来很大的麻烦,往往会出现老年代还有很大空间剩余,但是无法找到足够大的连续空间来分配当前对象,不得不提前触发一次Full GC。
4)老年代垃圾回收过程中,如果出现资源不够用,则会强制进行老年代串行回收,应用暂停时间更长,影响更大。

 

 


G1(面向服务端应用的垃圾收集器)


1.7正式使用,且使用了全新的算法,看起来有取代CMS的趋势。
保留了分代的概念,但是从堆结构上看,分代内存并不是连续的。如图:
在并行性和并发性的基础上,可以同时兼顾年轻代和年老代,还可以进行空间整理,每次GC之后会自动进行碎片整理,减少碎片空间。最后还有可预见性,G1可以选取部分区域进行内存回收。

过程:1)初始标记(标记root对象)(eden区会被清空) 2)根区域扫描 3)并发标记 4)重新标记 5)独占清理 (计算各个区域存活对象和GC回收比例)6)并发清理
混合回收:在年轻代满时,触发年轻代收集;随着老年代内存增长,当到达IHOP阈值-XX:InitiatingHeapOccupancyPercent(老年代占整堆比,默认45%)时,G1开始准备收集老年代空间。首先经历并发标记周期,识别出垃圾占比较高的老年代分区。但随后G1并不会马上开始一次混合收集,而是让应用线程先运行一段时间,等待触发一次年轻代收集。在这次STW中,G1将保准整理混合收集周期。接着再次让应用线程运行,当接下来的几次年轻代收集时,将会有老年代分区加入到CSet中,即触发混合收集,这些连续多次的混合收集称为混合收集周期(Mixed Collection Cycle)

特点:
1、并行于并发:G1能充分利用CPU多核,使用多个CPU来缩短stop-The-World停顿时间。
2、分代收集:虽然G1可以不需要其他收集器配合就能独立管理整个GC堆,但是还是保留了分代的概念。
3、空间整合:与CMS的“标记--清理”算法不同,G1从整体来看是基于“标记整理”算法实现的收集器;从局部上来看是基于“复制”算法实现的。
4、可预测的停顿:这是G1相对于CMS的另一个大优势,降低停顿时间是G1和CMS共同的关注点,但G1除了追求低停顿外,还能建立可预测的停顿时间模型,能让使用者明确指定在一个长度为M毫秒的时间片段内。

 

 


-------------------------------------------------------------
五、调优思路
-------------------------------------------------------------


5.1 前瞻
1、尝试多种垃圾回收器,G1并不是最好的
2、并发不等于并行。垃圾回收的过程实际上有两步,启动GC周期和GC自身运行,这是不同的两件事。并发针对的是GC周期,而并行针对GC算法自身。
3、平均事务时间不是最需要被关注的指标,有可能用户正好经历了那个长时间GC的场景,那将是毁灭性的。
4、GC调优并不能解决所有的事。如果程序修改程度大,那应该优先优化架构及代码。
5、GC日志并不会对性能造成太大的影响,在GC未被优化之前,开启GC日志是有必要的。
6、降低新对象的分配率可以改善GC的运行状况。粗略地把系统中的对象分为三种:长命(long-lived)对象,对它们我们一般做不了什么;中等寿命(mid-lived)对象,最大的问题可能出现在这;短命(short-lived)对象,它们的释放和回收通常都很快,在下个GC周期来临时就会消失

5.2 思路
1、理解应用需求和问题。
2、掌握GC的状态。
3、思考选择的GC是否符合我们的应用特征。
4、分析确认需要调整的参数。
5、验证调优。

5.3 查看设置参数
java -XX:+PrintFlagsInitial <pid>查看初始值
-XX:+PrintFlagsFinal 查看最终值(初始值可能被修改掉)
-Xms 默认情况下堆内存的64分之一
-Xmx 默认情况下对内存的4分之一
-Xmn 默认情况下堆内存的3分之一
-XX:NewRatio 默认为2
-XX:SurvivorRatio 默认为8
-XX:+PrintGCDetails 开启GC详细日志-Xloggc:/cpic/cpicapp/perfma/xowl/../logs/xowl/gc.log -XX:+PrintGCDetails

5.4 GC一般合理表现
分析结果显示GC耗时在0.1-0.3秒以内的话,一般不需要花费额外的时间做GC调优。然而, 如果GC耗时达到1-3秒甚至10秒以上,就需要立即对系统进行GC调优 。
Minor GC执行迅速(50毫秒以内)
Minor GC执行不频繁(间隔10秒左右一次)
Full GC执行迅速(1秒以内)
Full GC执行不频繁(间隔10分钟左右一次)


-------------------------------------------------------------
六、参数调优
-------------------------------------------------------------


6.1 PS

6.1.1 吞吐量:-XX:GCTimeRatio=<N>垃圾收集时间与应用程序时间的比率设置为1/(1+<n>),默认值是99%(垃圾收集时间的1%)。
-Xmx<N>:指定最大堆占用空间。
优先级保证:暂停时间>吞吐量>堆空间。如果不设置初始堆内存和最大堆内存,则初始堆大小为物理内存的1/64,最大内存为1/4,年轻代大小为堆内存的1/3。
-Xms (初始堆内存) and -Xmx (最大堆内存):
如果知道应用程序需要多少堆才能正常工作,那么可以将-Xms和-Xmx设置为相同的值。如果不知道,那么JVM将首先使用初始堆大小,然后自动增长,直到它找到堆使用和性能之间的平衡。
三个重要参数:1、-XX:MaxGCPauseTimeMillis:设置最大垃圾回收时间停顿时间。
2、-XX:GCTimeRatio:设置吞吐量大小。
3、-XX:UseAdaptiveSizePolicy:自适应模式。新生代大小,eden区与survivor区的比例,晋升老年代的对象年龄等参数会被自动调整。
CMS
使用方法:-XX:+UseConcMarkSweepGC
并发线程数:(ParallelGCThreads+3)/4。也可用通过-XX:ConcGCThreads或者-XX:ParallelCMSThreads手工设置。
因为并发性质,所以CMS不会等到堆饱和时才进行垃圾回收。默认值为老年代占用率68%,通过-XX:CMSInitiatingOccupancyFraction设置。
内存压缩:设定多少次之后GC回收之后对内存进行一次压缩。-XX:CMSFullGCsBeforeCompaction。默认0
开启-XX:CMSClassUnloadingEnable,可以在需要时候Perm区的还会触发一次FullGC。

 

6.2 G1

6.2.1 启用G1(常用):-XX:+UseG1GC
堆内存(常用):-XX:InitialHeapSize(初始堆内存)-XX:MaxHeapSize(最大堆内存)
年轻代设置(常用):-XX:NewSize(最小) -XX:MaxNewSize(最大)
暂停时间(常用):-XX:MaxGCPauseTimeMillis=<N>(默认200ms)
空闲堆占比:-XX:MinHeapFreeRatio=40(GC后,如果发现空闲堆内存占到整个预估堆内存的40%,则放大堆内存的预估最大值,但不超过固定最大值。)-XX:MaxHeapFreeRatio=70
最大暂停间隔时间:-XX:PauseTimeIntervalMillis
GC停顿时候的并行的GC收集线程数:-XX:ParallelGCThreads=< ergo>根据虚拟机所在的主机的可用CPU线程数来计算的:如果CPU少于8个这个值就是cpu的数量,否则,就等于cpu数量*5/8。每个停顿开始的时候,最大的GC线程数还受限于最大的堆内存,G1的内个线程能使用的最大堆内存是由-XX:HeapSizePerGCThread来设置的。
与应用并发执行的GC线程数:-XX:ConcGCThreads=< ergo>:默认是-XX:ParallelGCThreads/4
region的大小:-XX:G1HeapRegionSize=< ergo>整个堆大概有2048个region,region的大小可以在1-32M之间,必须是2的次方。调整之后会影响分配对象的大小及停顿时间。
可分配的最大对象的大小: -XX:G1HeapRegionSize-XX:G1MaxNewSizePercent


-------------------------------------------------------------
七、针对项目经验集
-------------------------------------------------------------


7.1 这几种GC收集器相比之下,只要JDK版本在1.7u4及以上,推荐使用G1收集器。JDK1.7,1.8都默认使用PS(并行收集器)

7.2 尤其注意容器项目,容器设置的JVM配置内存大小不能大于容器内存大小,否则参数配置无效。

7.3 调优实例

7.3.1 实例一(集团2018版XXXXXXXX系统):
压测表现:稳定性压测时结果不稳定且内存消耗一直80%左右,影响时间3天。
内存分析表现:堆内存很大(7G)但年轻代内存非常小,年轻代minGC频繁,老年代内存一直增加直至触发majorGC,且GC暂停时间长,平均200~300ms
调优:调整年轻代内存为3G
export JAVA_OPTS="$JAVA_OPTS -Xmx7g -Xms7g -XX:NewSize=3g -XX:MaxNewSize=3g -XX:+UseG1GC"
优化结果:
复压,内存稳定在60%左右,年轻代GC频繁度减小,GC耗时100ms左右,老年代稳定无majorGC

7.3.2 实例二(寿险2013版XXXXXXXX系统):
压测表现:压测时压不上去,服务器消耗未满载。且压的时间长了TPS会有断崖式下降,TPS和相应时间非常不稳定。影响时间2天。
内存分析表现:heap内存只设置了2G,容器是3.5C7G,老年代一直增长直至触发majorGC,GC频繁且GC暂停时间不稳定。
调优:调整heap内存大小7G,新生代3G。
JAVA_OPTS="-Xmx7000m -Xms7000m -Xmn3072m -XX:PermSize=256M -XX:MaxPermSize=256M
调优结果:
TPS增长40~50且稳定。老年代稳定无majorGC。minorGC频繁度减小,GC暂停时间降低且稳定在几十ms以内。

7.3.3 Tip1:年轻代内存并不是越大越好,虽然会减小GC的频率,但是在GC时会增加回收时间造成GC暂停时间长。
Tip2:docker系统,如果容器内存4G,堆内存设置6G,进程可以启动且显示为6G,但实际只能使用到4G。
Tip3:如果开发和测试都不清楚如何设置堆大小及年轻代大小,可以参考perfma产品 http://xxfox.perfma.com/ ,填写相关参数会给出调优建议

 

posted on 2020-08-31 14:11  柯南道尔的江户川  阅读(562)  评论(0编辑  收藏  举报