上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 69 下一页

2022年4月9日

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|RedisDB结构.v04|结构7种type.v02|

摘要: 一、字典(重点+难点) ### 字典(重点+难点) ~~~ 字典dict又称散列表(hash),是用来存储键值对的一种数据结构。 ~~~ Redis整个数据库是用字典来存储的。(K-V结构) ~~~ 对Redis进行CURD操作其实就是对字典中的数据进行CURD操作。 ### 数组 ~~~ 数组:用 阅读全文

posted @ 2022-04-09 13:41 yanqi_vip 阅读(142) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|RedisDB结构.v02|

摘要: 一、RedisObject结构 ### RedisObject结构 ~~~ Value是一个对象 ~~~ 包含字符串对象,列表对象,哈希对象,集合对象和有序集合对象 ### 结构信息概览 typedef struct redisObject { unsigned type:4; # 类型 五种对象类 阅读全文

posted @ 2022-04-09 13:40 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|RedisDB结构.v01|

摘要: 一、RedisDB结构:底层数据结构 ### Redis作为Key-Value存储系统,数据结构如下: ~~~ Redis没有表的概念,Redis实例所对应的db以编号区分,db本身就是key的命名空间。 ~~~ 比如:user:1000作为key值,表示在user这个命名空间下id为1000的元素 阅读全文

posted @ 2022-04-09 13:39 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&Redis.V07|——|Redis.v07|乐观锁|分布式锁|Redisson.v04|

摘要: 一、分布式锁特性 ### 互斥性 ~~~ 任意时刻,只能有一个客户端获取锁,不能同时有两个客户端获取到锁。 ~~~ Redis : setnx set key value NX 如果key存在就不设置 ### 同一性 ~~~ 锁只能被持有该锁的客户端删除,不能由其它客户端删除。 ~~~ Redis 阅读全文

posted @ 2022-04-09 13:38 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-09 13:38 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Redis.V05|——|Redis.v05|乐观锁|分布式锁|Redisson.v02|

摘要: 一、setnx ### 实现原理 ~~~ 共享资源互斥 ~~~ 共享资源串行化 ~~~ # 单应用中使用锁:(单进程多线程) ~~~ synchronized、ReentrantLock ~~~ # 分布式应用中使用锁:(多进程多线程) ~~~ 分布式锁是控制分布式系统之间同步访问共享资源的一种方式 阅读全文

posted @ 2022-04-09 13:37 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|乐观锁|分布式锁|Redisson.v03|

摘要: 一、Redisson分布式锁的使用/及实现原理 ### Redisson分布式锁的使用 ~~~ Redisson是架设在Redis基础上的一个Java驻内存数据网格(In-Memory Data Grid)。 ~~~ Redisson在基于NIO的Netty框架上,生产环境使用分布式锁。 ### 加 阅读全文

posted @ 2022-04-09 13:37 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|并发hotkey/bigkey|

摘要: 一、并发hotkey/bigkey ### 数据并发竞争 ~~~ 这里的并发指的是多个redis的client同时set 同一个key引起的并发问题。 ~~~ 多客户端(Jedis)同时并发写一个key,一个key的值是1,本来按顺序修改为2,3,4, ~~~ 最后是4,但是顺序变成了4,3,2,最 阅读全文

posted @ 2022-04-09 13:36 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|乐观锁|分布式锁|Redisson.v01|

摘要: 一、分布式锁/watch/setnx:watch ### [Redis经典问题解析] ~~~ [Redis乐观锁] ~~~ [Redis分布式锁] ~~~ [Redisson] ~~~ [Redis分布式锁watch/setnx] ~~~ [Redisson分布式锁的使用/实现原理] ~~~ [分布 阅读全文

posted @ 2022-04-09 13:36 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00048|——————————|^^ 重要 ^^|——|Hadoop&Redis.V01|——|Redis.v01|穿透雪崩击穿|

摘要: 一、Redis经典问题解析:穿透雪崩击穿 ### 缓存穿透 ~~~ 一般的缓存系统都是按照key去缓存查询如果不存在对应的value就应该去后端系统查找(比如DB)。 ~~~ 缓存穿透是指在高并发下查询key不存在的数据,会穿过缓存查询数据库。导致数据库压力过大而宕机 ### 解决方案: ~~~ 对 阅读全文

posted @ 2022-04-09 13:35 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|数据不一致|

摘要: 一、数据不一致 ### 数据不一致 ~~~ 缓存和DB的数据不一致的根源 : 数据源不一样 ### 如何解决 ~~~ 强一致性很难,追求最终一致性(时间) ~~~ 互联网业务数据处理的特点 ~~~ 高吞吐量 ~~~ 低延迟 ~~~ 数据敏感性低于金融业 ~~~ 时序控制是否可行? ~~~ 先更新数据 阅读全文

posted @ 2022-04-09 13:35 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00045|——————————|^^ 配置 ^^|——|Hadoop&Redis.V13|——|Redis.v13|集群扩容缩容.v03|

摘要: 一、Redis集群缩容:缩容 ### 将7008实例剔除集群: [root@hadoop ~]# cd /opt/yanqi/servers/redis-cluster/7008/bin/ [root@hadoop bin]# ./redis-cli --cluster del-node 192.1 阅读全文

posted @ 2022-04-09 13:34 yanqi_vip 阅读(57) 评论(0) 推荐(0)

|NO.Z.00046|——————————|^^ 配置 ^^|——|Hadoop&Redis.V14|——|Redis.v14|集群容灾|

摘要: 一、Redis集群容灾:容灾(failover) ### 故障检测 ~~~ 集群中的每个节点都会定期地(每秒)向集群中的其他节点发送PING消息 ~~~ 如果在一定时间内(cluster-node-timeout),发送ping的节点A没有收到某节点B的pong回应, ~~~ 则A将B标识为pfai 阅读全文

posted @ 2022-04-09 13:34 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-09 13:34 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00043|——————————|^^ 配置 ^^|——|Hadoop&Redis.V11|——|Redis.v11|集群扩容缩容.v01|

摘要: 一、Redis集群扩容.主节点:Redis集群扩容:Redis集群缩容 ### 扩容集群:扩容主节点 ~~~ 添加主节点:先创建7007节点 (无数据) [root@hadoop ~]# mkdir -p /opt/yanqi/servers/redis-cluster/7007 [root@had 阅读全文

posted @ 2022-04-09 13:33 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00044|——————————|^^ 配置 ^^|——|Hadoop&Redis.V12|——|Redis.v12|集群扩容缩容.v02|

摘要: 一、Redis集群扩容.从节点:扩容集群:扩容从节点 ### 添加从节点 ~~~ 创建7008实例 (无数据) [root@hadoop ~]# mkdir -p /opt/yanqi/servers/redis-cluster/7008 [root@hadoop ~]# cd /opt/yanqi 阅读全文

posted @ 2022-04-09 13:33 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00042|——————————|^^ 配置 ^^|——|Hadoop&Redis.V10|——|Redis.v10|分片路由|数据迁移|

摘要: 一、分片路由:分片路由: ### 分片 ~~~ 不同节点分组服务于相互无交集的分片(sharding), ~~~ Redis Cluster 不存在单独的proxy或配置服务器,所以需要将客户端路由到目标的分片。 二、客户端路由 ### 客户端路由 ~~~ Redis Cluster的客户端相比单机 阅读全文

posted @ 2022-04-09 13:32 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Redis.V08|——|Redis.v08|分区原理|

摘要: 一、RedisCluster分区:RedisCluster分区原理 ### 官方cluster分区 ~~~ Redis3.0之后,Redis官方提供了完整的集群解决方案。 ~~~ 方案采用去中心化的方式, ~~~ 包括:sharding(分区)、replication(复制)、failover(故障 阅读全文

posted @ 2022-04-09 13:31 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00041|——————————|^^ 部署 ^^|——|Hadoop&Redis.V09|——|Redis.v09|普通Hash|一致性Hash|

摘要: 一、RedisCluster创建:集群搭建 ### RedisCluster最少需要三台主服务器,三台从服务器。 ~~~ 伪分布式端口号规划: 7001~7006 ~~~ 主服务器: 7001/7002/7003 ~~~ 从服务器: 7004/7005/7006 二、创建7001~7006实例 ## 阅读全文

posted @ 2022-04-09 13:31 yanqi_vip 阅读(50) 评论(0) 推荐(0)

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|高可用|集群介绍|

摘要: 一、集群与分区 ### 集群与分区 ~~~ 分区是将数据分布在多个Redis实例(Redis主机)上,以至于每个实例只包含一部分数据。 ### 分区的意义 ~~~ # 性能的提升 ~~~ 单机Redis的网络I/O能力和计算资源是有限的,将请求分散到多台机器, ~~~ 充分利用多台机器的计算能力可网 阅读全文

posted @ 2022-04-09 13:30 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&Redis.V07|——|Redis.v07|普通Hash|一致性Hash|

摘要: 一、普通Hash ### 普通Hash的优势 ~~~ 实现简单,热点数据分布均匀 ### 普通Hash的缺陷 ~~~ 节点数固定,扩展的话需要重新计。 ~~~ 查询时必须用分片的key来查,一旦key改变,数据就查不出了,所以要使用不易改变的key进行分片 二、一致性hash ### 基本概念 ~~ 阅读全文

posted @ 2022-04-09 13:30 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00037|——————————|^^ 配置 ^^|——|Hadoop&Redis.V05|——|Redis.v05|高可用|哨兵模式|检测原理|故障转移|

摘要: 一、哨兵模式检测原理:哨兵模式故障转移:执行流程 ### 启动并初始化Sentinel ~~~ Sentinel是一个特殊的Redis服务器 ~~~ 不会进行持久化 ~~~ Sentinel实例启动后 ~~~ 每个Sentinel会创建2个连向主服务器的网络连接 ~~~ 命令连接:用于向主服务器发送 阅读全文

posted @ 2022-04-09 13:29 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00036|——————————|^^ 部署 ^^|——|Hadoop&Redis.V04|——|Redis.v04|高可用|哨兵模式|高可用配置|

摘要: 一、哨兵模式 ### 哨兵 ~~~ 哨兵(sentinel)是Redis的高可用性(High Availability)的解决方案: ~~~ 由一个或多个sentinel实例组成sentinel集群可以监视一个或多个主服务器和多个从服务器。 ~~~ 当主服务器进入下线状态时,sentinel可以将该 阅读全文

posted @ 2022-04-09 13:28 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|高可用|主从复制.v02|

摘要: 一、主从配置 ### 主Redis配置 ~~~ 无需特殊配置 ### 从Redis配置 ~~~ 修改从服务器上的redis.conf 文件: [root@linux123 ~]# vim /opt/yanqi/servers/redis/bin/redis.conf # slaveof <maste 阅读全文

posted @ 2022-04-09 13:27 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|高可用|主从复制.v03|

摘要: 一、同步数据 ### 同步数据 ~~~ Redis 2.8之后分为全量同步和增量同步,具体的后面详细讲解。 ### 命令传播 ~~~ 当同步数据完成后,主从服务器就会进入命令传播阶段, ~~~ 主服务器只要将自己执行的写命令发送给从服务器, ~~~ 而从服务器只要一直执行并接收主服务器发来的写命令。 阅读全文

posted @ 2022-04-09 13:27 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00033|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|高可用|主从复制.v01|

摘要: 一、主从复制 ### 本章学习目标: ~~~ 理解主从复制原理、同步数据集 ~~~ 能够配置Redis主从复制 ~~~ 能够配置Redis主从+哨兵模式 ~~~ 理解哨兵执行流程、故障转移和leader选举 ~~~ 掌握一致性hash算法 ~~~ 理解RedisCluster的分片原理 ~~~ 掌握 阅读全文

posted @ 2022-04-09 13:26 yanqi_vip 阅读(22) 评论(0) 推荐(0)

2022年4月8日

|NO.Z.00031|——————————|^^ 配置 ^^|——|Hadoop&Redis.V07|——|Redis.v07|监视器|

摘要: 一、Redis监视器:监视器 ### 监视器 ~~~ Redis客户端通过执行MONITOR命令可以将自己变为一个监视器, ~~~ 实时地接受并打印出服务器当前处理的命令请求的相关信息。 ~~~ 此时,当其他客户端向服务器发送一条命令请求时,服务器除了会处理这条命令请求之外, ~~~ 还会将这条命令 阅读全文

posted @ 2022-04-08 15:54 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:54 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Redis.V05|——|Redis.v05|lua脚本与Redis整合应用.v03|

摘要: 一、脚本管理命令实现 ### 使用redis-cli直接执行lua脚本。 ~~~ test.lua ~~~ # 脚本文件 [root@hadoop bin]# vim test.lua return redis.call('set',KEYS[1],ARGV[1]) ~~~ # 执行脚本 [root 阅读全文

posted @ 2022-04-08 15:53 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Redis.V06|——|Redis.v06|慢查询日志|

摘要: 一、慢查询日志 ### 慢查询日志 ~~~ 我们都知道MySQL有慢查询日志 ~~~ Redis也有慢查询日志,可用于监视和优化查询 ### 慢查询设置 ~~~ 在redis.conf中可以配置和慢查询日志相关的选项: ~~~ # 执行时间超过多少微秒的命令请求会被记录到日志上 0 :全记录 <0 阅读全文

posted @ 2022-04-08 15:53 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|lua脚本与Redis整合应用.v01|

摘要: 一、lua脚本与Redis整合应用;lua脚本复制 ### Luau脚本 ~~~ lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, ~~~ 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。 ~~~ # Lua应用场景: ~~~ 游戏开发、独立应用脚本、We 阅读全文

posted @ 2022-04-08 15:52 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|lua脚本与Redis整合应用.v02|

摘要: 一、EVAL/EVALSHA命令实现 ### EVAL命令 ~~~ 通过执行redis的eval命令,可以运行一段lua脚本 EVAL script numkeys key [key ...] arg [arg ...] ### 命令说明: ~~~ script参数:是一段Lua脚本程序,它会被运行 阅读全文

posted @ 2022-04-08 15:52 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|发布订阅机制|

摘要: 一、Redis发布订阅机制 ### 发布于订阅 ~~~ Redis提供了发布订阅功能,可以用于消息的传输 ~~~ Redis的发布订阅机制包括三个部分,publisher,subscriber和Channel ~~~ 发布者和订阅者都是Redis客户端,Channel则为Redis服务器端。 ~~~ 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|事务机制|

摘要: 一、事务机制:事务 ### 什么是事务 ~~~ 所谓事务(Transaction) ,是指作为单个逻辑工作单元执行的一系列操作 ### ACID回顾 ~~~ Atomicity(原子性):构成事务的的所有操作必须是一个逻辑单元,要么全部执行,要么全部不执行。 ~~~ Redis:一个队列中的命令 执 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:51 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&Redis.V05|——|Redis.v05|RDB/AOF对比选型|

摘要: 一、RDB与AOF对比和选型:RDB与AOF对比 ### RDB与AOF对比和选型:RDB与AOF对比 ~~~ # RDB存某个时刻的数据快照, ~~~ 采用二进制压缩存储,AOF存操作命令,采用文本存储(混合) ~~~ # RDB性能高、AOF性能较低 ~~~ # RDB在配置触发状态会丢失最后一 阅读全文

posted @ 2022-04-08 15:50 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Redis.V03|——|Redis.v03|AOF机制|

摘要: 一、AOF ### AOF ~~~ # AOF(append only file)是Redis的另一种持久化方式。 ~~~ Redis默认情况下是不开启的。开启AOF持久化后 ~~~ # Redis 将所有对数据库进行过写入的命令(及其参数)(RESP)记录到 AOF 文件, ~~~ 以此达到记录数 阅读全文

posted @ 2022-04-08 15:49 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&Redis.V04|——|Redis.v04|AOF重写机制|

摘要: 一、AOF重写、触发方式、混合持久化 ### AOF记录数据的变化过程 ~~~ AOF记录数据的变化过程,越来越大,需要重写“瘦身” ~~~ Redis可以在 AOF体积变得过大时,自动地在后台(Fork子进程)对 AOF进行重写。 ~~~ 重写后的新 AOF文件包含了恢复当前数据集所需的最小命令集 阅读全文

posted @ 2022-04-08 15:49 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&Redis.V02|——|Redis.v02|RDB机制|

摘要: 一、RDB ### RDB ~~~ RDB(Redis DataBase),是redis默认的存储方式, ~~~ RDB方式是通过快照( snapshotting )完成的。 ~~~ 这一刻的数据:不关注过程 ### 触发快照的方式 ~~~ 符合自定义配置的快照规则 ~~~ 执行save或者bgsa 阅读全文

posted @ 2022-04-08 15:48 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Redis.V01|——|Redis.v01|持久化机制|

摘要: 一、Redis持久化 ### 为什么要持久化 ~~~ Redis是内存数据库,宕机后数据会消失。 ~~~ Redis重启后快速恢复数据,要提供持久化机制 ~~~ Redis持久化是为了快速的恢复数据而不是为了存储数据 ### Redis有两种持久化方式:RDB和AOF ~~~ 注意:Redis持久化 阅读全文

posted @ 2022-04-08 15:47 yanqi_vip 阅读(26) 评论(0) 推荐(0)

上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 69 下一页

导航