es集群在系统安装过程中:指定es用户访问最大线程数和文件句柄数的参数优化

(一)功能说明:在es集群安装的过程中,需要对Linux的内核参数进行

         max number of threads [3818] for user [es] is too low, increase to at least [4096]

         问题同上,最大线程个数太低。修改配置文件/etc/security/limits.conf(和问题1是一个文件),增加配置

         上面就是要修改es用户的在linux中能够创建的线程数

       

修改系统配置参数

有下面的两种逻辑方式:

方法一:修改root用户max user process
vim /etc/security/limits.conf
root soft nproc 10000
root hard nproc 10000

修改普通用户es  max user process
方法1:
vim /etc/security/limits.conf
es soft nproc 10000
es hard nproc 10000
方法2:
vim /etc/security/limits.d/20-nproc.conf
* soft nproc 4096
root soft nproc unlimited
es soft nproc 10000
es hard nproc 10000

说明:
1.soft为warning值,hard为最大值,*代表匹配所有用户。
2.在limits.conf里配置针对所有用户(*)的max user process的不生效,只能在20-nproc.conf里配置。
3.如果单独对某一用户,如tomcat这种,可以在limits.conf配置文件里单独配置,也可以在20-nproc.conf里配置。
4.如果20-nproc.conf和limits.conf同时配置了如tomcat用户的max user process,系统以20-nproc.conf里的配置值为标准。

/etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置,如果20-nproc.conf和limits.conf同时配置了如tomcat用户的max user process,系统以20-nproc.conf里的配置值为标准。

注意:

一般soft的值会比hard小,也可以设置为相等
/etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置
只有root用户才有权限修改/etc/security/limits.conf
limits.conf没有做设定,则默认值是1024

最好的方法就是在/etc/security/limits.d/20-nproc.conf配置当前用户能够创建的最大线程数

 在配置中有个soft 参数和hard参数,二者的区别在哪里

soft xxx:表示警告的设定,可以超过这个设定的值,但是超过后会有警告
hard xxx:表示严格的设定,不允许超过设定的值

举例:soft 设为1024,hard设为2048,当你使用数在1到1024之间时可以随便使用,1024到2048时会出现警告信息,大于2048时会直接报错

es安装:

2、max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

es中要操作大量的index segment所以,需要在操作系统层面做下面的设置

soft nofile:可打开的文件描述符的最大数(超过会警告)
hard nofile:可打开的文件描述符的最大数(超过会报错)

 es集群安装的时候也需要对这个参数进行优化:max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中,每当程序尝试在内存中映射文件,链接到共享内存段,或者分配堆空间的时候,这些区域将被创建。调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错,因为当进程达到了VMA上线但又只能释放少量的内存给其他的内核进程使用时,操作系统会抛出内存不足的错误。如果你的操作系统在NORMAL区域仅占用少量的内存,那么调低这个值可以帮助释放内存给内核用。

 

不然会报错:

 https://blog.csdn.net/lxw1844912514/article/details/120529627

 

posted on 2024-04-23 13:15  luzhouxiaoshuai  阅读(9)  评论(0编辑  收藏  举报

导航