yarn虚拟cpu和虚拟内存

虚拟cpu

虚拟的cpu代码并发数,如果一个container拥有2个vcpu,那么该container就可以真正的在同一时间运行两个线程,而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致

yarn的计算单元称为YCUs,其实就是把1个cpu分为n份,通常情况控制在1:1000左右,也就是说一个一核cpu可以被yarn分为1000个左右的YCUs,并在使用yarn的时候,可以配置使用多少YCUs。例如500个YCUs,那么其实得到的大概是1/2个核的cpu。

 

cpu不像内存一样,内存掌控着程序的生死,而cpu只是决定程序执行的速度。

  1. 通过控制cpu的功率就可以限制线程的执行速度。比如通过CGgroups限制。
  2. 分配给一个线程超过1个cpu是没有意思的,纯粹是浪费行为。
  3. 在一些IO密集型的任务里,就不需要给每个线程分配一个完整的cpu,可以尝试着分配1/2的cpu,利用YCUs就可以做到。

 

虚拟内存

yarn和虚拟内存的关联

yarn的一些关于虚拟内存的配置

key

默认

解释

yarn.nodemanager.vmem-check-enabled

true

是否对app进行虚拟内存监控

yarn.nodemanager.vmem-pmem-ratio

5

虚拟内存上限系数,乘数是应用物理内存上限

 

yarn默认开启了对应用虚拟内存的检测,虚拟内存可以通过top来看到VIRT,当应用使用的虚拟内存超过了yarn限制的虚拟内存上限,那么yarn会把这个应用杀死。虚拟内存上限的计算公式为:yarn.nodemanager.vmem-pmem-ratio*物理内存。遇到这类虚拟内存超过yarn限制的问题,常见的策略有:

  1. 关闭yarn对应用虚拟内存的检查

也就是把`yarn.nodemanager.vmem-check-enabled`配置为false

  1. 调高yarn对应用虚拟内存限制的系数

把` yarn.nodemanager.vmem-pmem-ratio`配置更大一点

  1. 减少应用对虚拟内存的使用

这块牵扯的内容稍微多一些,先给个结论,修改linux的环境变量`export MALLOC_ARENA_MAX=4`,下面详细解释一下应用的虚拟内存使用

 

什么是虚拟内存

操作系统将磁盘空间当做内存空间供给程序使用

# 查看某个进程的虚拟内存使用

pmap -x pid

 

为什么虚拟内存分配了很多

我们知道Linux下glibc的内存管理机制用了一个很奇妙的东西,叫arena。在glibc分配内存的时候,大内存从从中央分配区分配,小内存则在线程创建时,从缓存区分配。为了解决分配内存的性能的问题,就引入了这个叫做arena的memory pool,其原理就是通过为每个线程构建一个arena,来避免多线程同时竞争一个arena。而在64bit系统下面,它的缺省配置为64M。一个进程可以最多有cores*8个arena,假如服务器是4核的,那么最多有4*8=32个arena,也就是32*64 = 2048M内存

查资料发现这是 glibc 在版本 2.10 引入的 arena 新功能导致。CentOS 6/7 的 glibc 大都是 2.12/ 2.17 了,所以都会有这个问题。这个功能对每个线程都分配一个分配一个本地arena来加速多线程的执行。

在 glibc 的 arena.c 中使用的 mmap() 调用就和之前的示例代码类似:

    p2 = (char *)mmap(aligned_heap_area, HEAP_MAX_SIZE, PROT_NONE,

                          MAP_NORESERVE | MAP_ANONYMOUS | MAP_PRIVATE, -1, 0)

之后,只有很小的一部分地址被映射到了物理内存中:

    mprotect(p2, size, PROT_READ | PROT_WRITE)

因此在一个多线程程序中,会有相当多的 64MB 的 arena 被分配。这个可以用环境变量 MALLOC_ARENA_MAX 来控制。在64位系统中的默认值为 128,也就是单个进程最多可以申请128个arena。

 

由于Java 程序由于自己维护堆的使用,导致调用 glibc 去管理内存的次数较少。更糟的是 Java 8 开始使用 metaspace 原空间取代永久代,而元空间是存放在操作系统本地内存中,这就导致线程一多,每个线程都要使用一点元空间,也就是每个线程都分配一个64MB的 arena,导致巨大的虚拟地址被分配。

可以减小MALLOC_ARENA_MAX,比如

export MALLOC_ARENA_MAX=4

 

参考

https://yq.aliyun.com/articles/227924

https://unix.stackexchange.com/questions/379644/glibc-memory-alloction-arenas-and-debugging

https://www.ibm.com/developerworks/community/blogs/kevgrig/entry/linux_glibc_2_10_rhel_6_malloc_may_show_excessive_virtual_memory_usage?lang=zh_us

 

posted @ 2018-11-28 13:23  ulysses_you  阅读(...)  评论(... 编辑 收藏