redis使用问题总结

1.redis使用过多内存导致其他进程无法正常运行情况:
 
   解决方案:限制redis的最大使用内存,修改redis.conf中的maxmemory(一般不要超过空闲内存的3/5,如果不设置maxmemory或者设置为0,64位系统不限制内存,32位系统最多使用3GB内存。默认是按照过期时间的,如果set时候没有加上过期时间就会导致数据写满maxmemory。)
 
注意:设置了maxmemory的选项,redis内存使用达到上限后可以通过设置过期策略maxmemory-policy(默认值是noeviction)来清理redis中的数据。
  maxmemory-policy的值有以下几种:
  1. volatile-lru -> 根据LRU算法生成的过期时间来删除。
  2. allkeys-lru -> 根据LRU算法删除任何key。
  3. volatile-random -> 根据过期设置来随机删除key。
  4. allkeys-random -> 无差别随机删。
  5. volatile-ttl -> 根据最近过期时间来删除(辅以TTL)
  6. noeviction -> 谁也不删,直接在写操作时返回错误。
   
比如我的内存是8G的,因为还要运行php-fpm nginx supervisor等一系列软件,最终考虑
maxmemory 3072000
maxmemory-policy volatile-lru
 
 

 
2.出现Can't save in background: fork: Cannot allocate memory这样的写磁盘出错。
 
Redis数据回写机制:
 
数据回写分同步和异步两种方式
 
同步回写(SAVE), 主进程直接向磁盘回写数据. 在数据量大的情况下会导致系统假死很长时间
异步回写(BGSAVE), 主进程fork后, 复制自身并通过这个新的进程回写磁盘, 回写结束后新进程自行关闭.
由于 BGSAVE 不需要主进程阻塞, 系统也不会假死, 一般会采用 BGSAVE 来实现数据回写.
 
故障分析:
 
在小内存的进程上做fork, 不需要太多资源. 但当这个进程的内存空间以G为单位时, fork就成为一件很恐怖的操作.
在16G内存的足迹上fork 14G的进程, 系统肯定Cannot allocate memory.
主机的Redis 改动的越频繁 fork进程也越频繁, 所以一直在Cannot allocate memory
 
解决方案:
 
修改内核参数 vm.overcommit_memory, Linux内核会根据参数vm.overcommit_memory参数的设置决定是否放行。
 

vim /etc/sysctl.conf

vm.overcommit_memory = 1

 

#最好不要设置为0,Linux的OOM机制在内存不足的情况下,会自动选择性Kill进程点数过高的进程,0会中招。

sysctl vm.overcommit_memory=1

0:表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。

1:表示内核允许分配所有的物理内存,而不管当前的内存状态如何。

2:表示内核允许分配超过所有物理内存和交换空间总和的内存

或者:sudo echo 'vm.overcommit_memory = 1' >> /etc/sysctl.conf

运行以下命令使之生效
sudo sysctl -p
 
 
 


3.客户端频繁获取连接限制

可能的错误信息:Cannot assign requested address

 

频繁地连服务器,但每次连接都在短时间内结束,导致很多的TIME_WAIT,以至于用光端口号,所以新连接没办法绑定端口。修改如下2个内核参数:

sysctl -w net.ipv4.tcp_timestamps=1,开启对于TCP时间戳的支持,若该项设置为0,则下面一项设置不起作用;

sysctl -w net.ipv4.tcp_tw_recycle=1,表示开启TCP连接中TIME-WAIT sockets的快速回收。


 
4.其他redis.conf参数优化可以参看http://blog.csdn.net/tangpengtao/article/details/45542791 这篇博客,写的挺齐全。

posted on 2017-11-01 16:50  Ryanyanglibin  阅读(330)  评论(0编辑  收藏  举报

导航