Elasticsearch JVM Heap Size大于32G,有什么影响?

0、引言

在规划ES部署的时候,会涉及到data node的分配堆内存大小,而Elasticsearch默认安装后设置的内存是1GB,对于任何一个业务部署来说,这个都太小了。

设置Heap Size的方式有两种,现将参考文献[1]摘录如下:

1)  指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量,并相应的设置堆的大小。

export ES_HEAP_SIZE=10g

2) 命令行参数的形式,在程序启动的时候把内存大小传递给它

./bin/elasticsearch -Xmx10g -Xms10g

这里的xmx和xms以前常用,但是究竟为什么要事先分配?参考文献[2]中的几个点我觉得讲的吼啊,我整理下:

a) -Xms和-Xmx设置相同时可避免Java堆自动扩展

b) 大部分 GC 算法依赖于被分配为连续的内存块的堆,因此不能在堆需要扩大时再分配更多本机内存。所有堆内存必须预先保留

c) Xmx指定内存并不是真正的分配,而是一种保留,内存保留 != 内存分配。即预先跑马圈地,并没有实际都用到。例如Xmx=512M是直接预留出512M的内存空间,但启动时的Java进程并不一定全部使用,但512M是它的“领地”。

1、那么将Java Heap Size设置的大于32G会对性能有什么影响?

开门见山的说,结果有几点(这几点其实也是内部关联):

  • 触发JVM的临界值,优化策略Compressed OOPS失效(之前Heap Size在[4G~32G]区间内采用此优化)
  • 由于优化策略失效,同时堆内存>32G,所以JVM被迫使用8字节(64位)来对Java对象寻址(之前4字节(32位)就够了)
  • 通常64位JVM消耗的内存会比32位的大1.5倍,这是因为对象指针在64位架构下,长度会翻倍(事实上当内存到达40-50GB的时候,有效内存才相当于使用Compressed OOPS技术时候的32G内存)
  • 更大的指针在主内存和缓存器(例如LLC, L1等)之间移动数据的时候,会占用更多的带宽(参考文献[1]中表示很糟糕)
  • 让JVM的GC面临更大压力的指针对象(在实际应用中构建大于12-16G的堆时,若无很好的性能调优与测评,你很容易就会引起一个耗时数分钟的完全GC)

1.1 JVM的OOPS

OOP = “ordinary object pointer” 普通对象指针

启用CompressOops后,会压缩的对象:

  • 每个class的属性指针(静态成员变量)
  • 每个对象的属性指针
  • 普通对象数组的每个元素指针

1.2 JVM的优化策略Compressed OOPS

从JDK 1.6 update14开始,64 bit JVM正式支持了 -XX:+UseCompressedOops ,这个可以压缩指针,起到节约内存占用的新参数。

Compressed OOPS,即大雾的对象压缩技术,压缩引用到32位,以降低堆的占用空间。其伪代码原理就不贴了,在参考文献[3]中,大家自取。

在堆大小在[4G~32G]的时候,这项技术会被触发,在JVM执行时加入编/解码指令,即

JVM在将对象存入堆时编码,在堆中读取对象时解码

内存地址确定公式类似于

<narrow-oop-base(64bits)> +(<narrow-oop(32bits)><< 3) +<field-offset>

Zero Based Compressed OOPS(零基压缩优化)则进一步将基地址置为0(并不一定是内存空间地址为0,只是JVM相对的逻辑地址为0,如可用CPU的寄存器相对寻址) 这样转换公式变为:

(<narrow-oop << 3) +<field-offset>

从而进一步提高了压解压效率。

参考文献[1]中举一个简单的例子,有点像BitMap的思想,即

使用Zero Based Compressed OOPS后,它的指针不再表示对象在内存中的精确位置,而是表示偏移量。这意味着32位的指针可以引用40亿个对象,而不是40亿个字节。

1.3 Zero Based Compressed OOPS的多种策略

它可以针对不同的堆大小使用多种策略,具体可以 ps + grep查看:

  • 堆小于4G,无需编/解码操作,JVM会使用低虚拟地址空间(low virutal address space,64位下模拟32位)
  • 小于32G而大于4G,使用Zero Based Compressed OOPS
  • 大于32G,不使用Compressed OOPS

2、结论

  • Compressed OOPS,可以让跑在64位平台下的JVM,不需要因为更宽的寻址,而付出Heap容量损失的代价
  • 它的实现方式是在机器码中植入压缩与解压指令,可能会给JVM增加额外的开销
  • 如果希望更大的堆内存。可以考虑一台机器上创建两个或者更多ES节点(封顶32G堆内存),而不要部署一个使用32+GB内存的节点(仍然要坚持50%原则)

 

999、参考文献

[1] Elasticsearch 合理内存分配

[2]【原创】深入理解Java堆内存分配策略(Xmx和Xms)

[3] 主题:JVM优化之压缩普通对象指针(CompressedOops)

[4] Java虚拟机优化选项,GC说明

[5] 应该使用32位还是64位的JVM?

posted @ 2016-12-13 18:32  油焖大黄瓜  阅读(2349)  评论(0编辑  收藏  举报