Jayson

老牛亦解韶光贵,不等扬鞭自奋蹄。

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

需求:将批量数据灌入redis中

如果通过代码形式将数据灌入redis中,效率比较低,以下将根据redis的特性进行快速的批量灌库

环境:centos7

  1. 将数据整理成规定格式的文件,比如:
SET key value
SET key value
  1. 安装格式转换工具
# yum install unix2dos
  1. 使用工具转换文件格式
# unix2dos cf_reclist.redis
  1. 使用命令灌库
# cat cf_reclist.redis | /usr/local/src/tools/redis-2.8.3/src/redis-cli  --pipe

可能出现的问题:
如果需要灌库的文件较大,则需要切分成多个小文件,再进行灌库

//按行切分文件,每10000行为一个小文件
]# split -l 10000 2.data 
//cat所有小文件进行批量灌库
]# for i in `ls *`; do cat $i | /usr/local/src/tools/redis-2.8.3/src/redis-cli --pipe;done
posted on 2018-06-18 17:23  jaysoncho  阅读(637)  评论(0)    收藏  举报