redis使用问题总结

1.redis使用过多内存导致其他进程无法正常运行情况：
 
   解决方案：限制redis的最大使用内存,修改redis.conf中的maxmemory(一般不要超过空闲内存的3/5，如果不设置maxmemory或者设置为0，64位系统不限制内存，32位系统最多使用3GB内存。默认是按照过期时间的,如果set时候没有加上过期时间就会导致数据写满maxmemory。)
 
注意：设置了maxmemory的选项，redis内存使用达到上限后可以通过设置过期策略maxmemory-policy(默认值是noeviction)来清理redis中的数据。
  maxmemory-policy的值有以下几种：
  1. volatile-lru -> 根据LRU算法生成的过期时间来删除。
  2. allkeys-lru -> 根据LRU算法删除任何key。
  3. volatile-random -> 根据过期设置来随机删除key。
  4. allkeys-random -> 无差别随机删。
  5. volatile-ttl -> 根据最近过期时间来删除（辅以TTL）
  6. noeviction -> 谁也不删，直接在写操作时返回错误。
   
比如我的内存是8G的，因为还要运行php-fpm nginx supervisor等一系列软件，最终考虑
maxmemory 3072000
maxmemory-policy volatile-lru
 
 
 
2.出现Can't save in background: fork: Cannot allocate memory这样的写磁盘出错。
 
Redis数据回写机制：
 
数据回写分同步和异步两种方式
 
同步回写(SAVE), 主进程直接向磁盘回写数据. 在数据量大的情况下会导致系统假死很长时间
异步回写(BGSAVE), 主进程fork后, 复制自身并通过这个新的进程回写磁盘, 回写结束后新进程自行关闭.
由于 BGSAVE 不需要主进程阻塞, 系统也不会假死, 一般会采用 BGSAVE 来实现数据回写.
 
故障分析：
 
在小内存的进程上做fork, 不需要太多资源. 但当这个进程的内存空间以G为单位时, fork就成为一件很恐怖的操作.
在16G内存的足迹上fork 14G的进程, 系统肯定Cannot allocate memory.
主机的Redis 改动的越频繁 fork进程也越频繁, 所以一直在Cannot allocate memory
 
解决方案：
 
修改内核参数 vm.overcommit_memory, Linux内核会根据参数vm.overcommit_memory参数的设置决定是否放行。
 

vim /etc/sysctl.conf

vm.overcommit_memory = 1

 

#最好不要设置为0，Linux的OOM机制在内存不足的情况下，会自动选择性Kill进程点数过高的进程，0会中招。

sysctl vm.overcommit_memory=1

0：表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。

1：表示内核允许分配所有的物理内存，而不管当前的内存状态如何。

2：表示内核允许分配超过所有物理内存和交换空间总和的内存

或者：sudo echo 'vm.overcommit_memory = 1' >> /etc/sysctl.conf

运行以下命令使之生效
sudo sysctl -p
 
 
 


3.客户端频繁获取连接限制

可能的错误信息：Cannot assign requested address

 

频繁地连服务器，但每次连接都在短时间内结束，导致很多的TIME_WAIT，以至于用光端口号，所以新连接没办法绑定端口。修改如下2个内核参数：

sysctl -w net.ipv4.tcp_timestamps=1，开启对于TCP时间戳的支持,若该项设置为0，则下面一项设置不起作用；

sysctl -w net.ipv4.tcp_tw_recycle=1，表示开启TCP连接中TIME-WAIT sockets的快速回收。

 
4.其他redis.conf参数优化可以参看http://blog.csdn.net/tangpengtao/article/details/45542791 这篇博客，写的挺齐全。

posted on 2017-11-01 16:50  Ryanyanglibin  阅读(351)  评论(0)  编辑  收藏  举报

导航