2019年6月17日

redis为什么内存不宜过大

摘要: redis的高性能、稳定性都是不用怀疑的,但如果redis塞入数据过多,内存过大,那如果出问题,那它可能会给我们的就是灾难性的。 1 主库宕机 主库宕机,常见的策略为“切主”。具体为从该集群剩余从库中选出一个从库奖其升级为主库, 该从库升级为主库后再讲剩余从库挂载至其下成为其从库。 以上是一个完整的 阅读全文

posted @ 2019-06-17 18:42 ExplorerMan 阅读(638) 评论(0) 推荐(0)

Python 操作 mongodb 亿级数据量使用 Bloomfilter 高效率判断唯一性 例子

摘要: 工作需要使用 python 处理 mongodb 数据库两亿数据量去重复,需要在大数据量下快速判断数据是否存在 参考资料:https://segmentfault.com/q/1010000000613729 网上了解到 Bloom Filter ,Bloom filter 是由 Howard Bl 阅读全文

posted @ 2019-06-17 17:25 ExplorerMan 阅读(629) 评论(0) 推荐(0)

Redis-3.2.0集群配置(redis cluster)

摘要: 目录 目录 1 1. 前言 2 2. 部署计划 2 3. 目录结构 2 4. 编译安装 3 5. 修改系统参数 3 5.1. 修改最大可打开文件数 3 5.2. TCP监听队列大小 4 5.3. OOM相关:vm.overcommit_memory 4 5.4. /sys/kernel/mm/tra 阅读全文

posted @ 2019-06-17 16:44 ExplorerMan 阅读(1024) 评论(0) 推荐(0)

在reshard过程中,将会询问reshard多少slots:

摘要: How many slots do you want to move (from 1 to 16384)?,取值范围为1~16384,其中16384为redis cluster的拥有的slots总数,比如想只移动100个,输入100即可。如果迁移的slots数量多,应当设置redis-trib.rb 阅读全文

posted @ 2019-06-17 16:37 ExplorerMan 阅读(340) 评论(0) 推荐(0)

Redis 持久化之RDB和AOF

摘要: Redis 持久化之RDB和AOF Redis 有两种持久化方案,RDB (Redis DataBase)和 AOF (Append Only File)。如果你想快速了解和使用RDB和AOF,可以直接跳到文章底部看总结。本章节通过配置文件,触发快照的方式,恢复数据的操作,命令操作演示,优缺点来学习 阅读全文

posted @ 2019-06-17 16:23 ExplorerMan 阅读(274) 评论(0) 推荐(0)

Redis "MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk"问题的解决

摘要: 异常详细信息 1 Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: MISCONF Redis is configured to save RDB snapshots, but is curre 阅读全文

posted @ 2019-06-17 15:56 ExplorerMan 阅读(219) 评论(0) 推荐(0)

Centos6.9下RabbitMQ集群部署记录

摘要: 之前简单介绍了CentOS下单机部署RabbltMQ环境的操作记录,下面详细说下RabbitMQ集群知识,RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡。 Rabbit集群模式大概分为以下三种:单一模式、普通模式、镜像模式,其中 阅读全文

posted @ 2019-06-17 15:35 ExplorerMan 阅读(235) 评论(0) 推荐(0)

设置Redis最大占用内存

摘要: 设置Redis最大占用内存 Redis需要设置最大占用内存吗?如果Redis内存使用超出了设置的最大值会怎样? 设置Redis最大占用内存 Redis设置最大占用内存,打开redis配置文件,找到如下段落,设置maxmemory参数,maxmemory是bytes字节类型,注意转换。修改如下所示: 阅读全文

posted @ 2019-06-17 15:33 ExplorerMan 阅读(10047) 评论(0) 推荐(0)

Redis Cluster部署、管理和测试

摘要: 背景: Redis 3.0之后支持了Cluster,大大增强了Redis水平扩展的能力。Redis Cluster是Redis官方的集群实现方案,在此之前已经有第三方Redis集群解决方案,如Twenproxy、Codis,与其不同的是:Redis Cluster并非使用Porxy的模式来连接集群节 阅读全文

posted @ 2019-06-17 13:15 ExplorerMan 阅读(771) 评论(0) 推荐(0)

redis 集群新增节点,slots槽分配,删除节点, [ERR] Calling MIGRATE ERR Syntax error, try CLIENT (LIST | KILL | GET...

摘要: redis reshard 重新分槽(slots) https://github.com/antirez/redis/issues/5029 redis 官方已确认该bug redis 集群重新(reshard)分片故障 [ERR] Calling MIGRATE ERR Syntax error, 阅读全文

posted @ 2019-06-17 11:54 ExplorerMan 阅读(905) 评论(0) 推荐(0)

导航