07 2020 档案
摘要：Kafka的实现细节 一、Topic和Partition 在Kafka中的每一条消息都有一个topic。一般来说在我们应用中产生不同类型的数据，都可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生产者写入的新消息。 kafka为每
阅读全文
摘要：一、Kafka集群搭建 1、环境构建 安装kafka集群之前，确保zookeeper服务已经正常运行，这里3台zookeeper准备工作都已完成，三台主机分别为：192.168.3.220,192.168.3.221,192.168.3.222 wget http://mirror.bit.edu.
阅读全文
摘要：一、Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志
阅读全文
摘要：历史-从开始到现在 RabbitMQ是一个Erlang开发的AMQP（Advanced Message Queuing Protocol ）的开源实现。AMQP 的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如 Cobar）的 IIOP ，或者是 SOAP 等），但
阅读全文
摘要：/** * @author yins * @date 2018年8月12日下午9:53:58 */ import java.net.Inet4Address; import java.net.InetAddress; import java.net.NetworkInterface; import
阅读全文
摘要：面试官心理分析 只要聊到你做了分布式系统，必问分布式事务，你对分布式事务一无所知的话，确实会很坑，你起码得知道有哪些方案，一般怎么来做，每个方案的优缺点是什么。 现在面试，分布式系统成了标配，而分布式系统带来的分布式事务也成了标配了。因为你做系统肯定要用事务吧，如果是分布式系统，肯定要用分布式事务吧
阅读全文
摘要：面试官心理分析 面试官问了你一堆 dubbo 是怎么玩儿的，你会玩儿 dubbo 就可以把单块系统弄成分布式系统，然后分布式之后接踵而来的就是一堆问题，最大的问题就是分布式事务、接口幂等性、分布式锁，还有最后一个就是分布式 session。 当然了，分布式系统中的问题何止这么一点，非常之多，复杂度很
阅读全文
摘要：面试官心理分析 现在聊的 topic 是分布式系统，面试官跟你聊完了 dubbo 相关的一些问题之后，已经确认你对分布式服务框架/RPC框架基本都有一些认知了。那么他可能开始要跟你聊分布式相关的其它问题了。 分布式锁这个东西，很常用的，你做 Java 系统开发，分布式系统，可能会有一些场景会用到。最
阅读全文
摘要：如何保证分布式系统中接口调用的顺序性？ 分布式是当下比较流行的一个话题，很多大型的互联网公司都是分布式系统，将一个大而全的系统拆分成多个小而精的一个个的功能单一、职责集中的子系统，系统之间通过约定好的协议、规则进行调用，降低系统之间的耦合度，避免牵一发而动全身。 虽然分布式系统的架构有很多的好处，但
阅读全文
摘要：1、面试题分布式服务接口的幂等性如何设计（比如不能重复扣款）？ 2、面试官心里分析从这个问题开始，面试官就已经进入了实际的生产问题的面试了 一个分布式系统中的某个接口，要保证幂等性，该如何保证？这个事儿其实是你做分布式系统的时候必须要考虑的一个生产环境的技术问题。啥意思呢？ 你看，假如你有个服务提供
阅读全文
摘要：面试官心理分析 这个也是线上非常常见的一个问题，就是多客户端同时并发写一个 key，可能本来应该先到的数据后到了，导致数据版本错了；或者是多客户端同时获取一个 key，修改值之后再写回去，只要顺序错了，数据就错了。 而且 redis 自己就有天然解决这个问题的 CAS 类的乐观锁方案。 面试题剖析
阅读全文
摘要：马上开始去开发业务系统 从哪一步开始做，从比较简单的那一块开始做，实时性要求比较高的那块数据的缓存去做 实时性比较高的数据缓存，选择的就是库存的服务 库存可能会修改，每次修改都要去更新这个缓存数据; 每次库存的数据，在缓存中一旦过期，或者是被清理掉了，前端的nginx服务都会发送请求给库存服务，去获
阅读全文
摘要：1、Cache Aside Pattern（1）读的时候，先读缓存，缓存没有的话，那么就读数据库，然后取出数据后放入缓存，同时返回响应 （2）更新的时候，先删除缓存，然后再更新数据库 2、为什么是删除缓存，而不是更新缓存呢？原因很简单，很多时候，复杂点的缓存的场景，因为缓存有的时候，不简单是数据库中
阅读全文
摘要：1 面试题 了解什么是Redis的雪崩和穿透吗？Redis崩溃之后会怎么样？系统该如何应对这种情况？如何处理Redis的穿透？ 2 考点分析 缓存必问题，因为缓存雪崩和穿透，是缓存最大的两个问题，要么不出现，一旦出现就是致命的！ 3 缓存雪崩 3.1 发生的现象 3.2 缓存雪崩的解决方案 事前：r
阅读全文
摘要：节点间的内部通信机制 基础通信原理 redis cluster 节点间采取 gossip 协议进行通信 gossip：互相之间不断通信，保持整个集群所有节点的数据是完整的 而集中式是将集群元数据（节点信息，故障，等等）集中存储在某个节点上； 经典的集中式中间件 zookeeper 他们基本上都用于维
阅读全文
摘要：讲解分布式数据存储的核心算法，数据分布的算法 hash 算法 -> 一致性 hash 算法（memcached） -> redis cluster 的 hash slot 算法 用不同的算法，就决定了在多个 master 节点的时候，数据如何分布到这些节点上去，解决这个问题 看到这里的时候，已经明白
阅读全文
摘要：单机redis在海量数据面前的瓶颈。 怎么才能够突破单机瓶颈，让redis支撑海量数据？ redis集群架构 redis cluster 支撑N个redis master node，每个master node都可以挂载多个slave node读写分离的架构，对于每个master来说，写就写到mast
阅读全文
摘要：一、sdown和odown转换机制sdown和odown两种失败状态 sdown是主观宕机，就一个哨兵如果自己觉得一个master宕机了，那么就是主观宕机odown是客观宕机，如果quorum数量的哨兵都觉得一个master宕机了，那么就是客观宕机 sdown达成的条件很简单，如果一个哨兵ping一
阅读全文
摘要：1、两种数据丢失的情况 主备切换的过程，可能会导致数据丢失 （1）异步复制导致的数据丢失 因为master -> slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机了，此时这些部分数据就丢失了 （2）脑裂导致的数据丢失 脑裂，也就是说，某个master所在机器突然脱
阅读全文
摘要：和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 全量同步Redis全量复制一般
阅读全文
摘要：一、redis的过期策略和内存淘汰机制 1、定期删除+惰性删除 定期删除：指的是redis默认是每隔100ms就随机抽取一些设置了过期时间的key，检查其是否过期，如果过期就删除 惰性删除：在你获取某个key的时候，redis会检查一下 ，这个key如果设置了过期时间那么是否过期了，如果过期了此时就
阅读全文
摘要：String: 一般做一些复杂的计数功能的缓存List: 做简单的消息队列的功能Hash: 单点登录Set: 做全局去重的功能SortedSet: 做排行榜应用，取TopN操作；延时任务；做范围查找 类型简介特性场景 String (字符串) Redis的字符串是动态字符串，是可以修改的字符串，它的
阅读全文
摘要：Redis为什么设计成单线程模式因为redis是基于内存的读写操作，所以CPU不是性能瓶颈，而单线程更好实现，所以就设计成单线程模式 单线程模式省却了CPU上下文切换带来的开销问题，也不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗。 单线程为什么快完全基于内存的操
阅读全文
摘要：1、首先redis是单线程的，为什么redis会是单线程的呢？从redis的性能上进行考虑，单线程避免了上下文频繁切换问题，效率高；从redis的内部结构设计原理进行考虑，redis是基于Reactor模式开发了自己的网络事件处理器： 这个处理器被称为文件事件处理器（file event handl
阅读全文
摘要：Redis 和 Memcached 都是基于内存的数据存储系统。Memcached是高性能分布式内存缓存服务，其本质上就是一个内存key-value数据库。Redis是一个开源的key-value存储系统。与Memcached类似，Redis将大部分数据存储在内存中，支持的数据类型包括：字符串、哈希
阅读全文
浙公网安备 33010602011771号