摘要: 1. redo log是什么? 为什么需要redo log? redo log 是什么呢? redo log 是重做日志。 它记录了数据页上的改动。 它指事务中修改了的数据,将会备份存储。 发生数据库服务器宕机、或者脏页未写入磁盘,可以通过redo log恢复。 它是Innodb存储引擎独有的 为什 阅读全文
posted @ 2021-09-18 09:57 低调人生 阅读(6) 评论(0) 推荐(0) 编辑
摘要: idea导入spring源码运行缺失cglib和objenesis的jar包的办法【亲测有效】 亲测有效,网上说的大多废话 上图,操作如下,运行gradle 阅读全文
posted @ 2021-09-16 18:36 低调人生 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的 阅读全文
posted @ 2021-09-14 11:22 低调人生 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 1. 利用 Partition 实现并行处理 我们都知道 Kafka 是一个 Pub-Sub 的消息系统,无论是发布还是订阅,都要指定 Topic。 Topic 只是一个逻辑的概念。每个 Topic 都包含一个或多个 Partition,不同 Partition 可位于不同节点。 一方面,由于不同 阅读全文
posted @ 2021-09-13 16:08 低调人生 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1、消费方式 consumer 采用 pull(拉) 模式从 broker 中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,尚硅谷大数据技术之 Kaf 阅读全文
posted @ 2021-09-13 16:03 低调人生 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 1、数据可靠性保证,数据同步 为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到 producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ac 阅读全文
posted @ 2021-09-10 15:59 低调人生 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1、kafka的数据存储 文件存储格式: .log 和 .index Kafka 中消息是以 topic 进行分类的, 生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 阅读全文
posted @ 2021-09-10 14:51 低调人生 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue) , 主要应用于大数据实时处理领域。 1) Producer : 消息生产者,就是向 kafka broker 发消息的客户端; 2) Consumer : 消息消费者,向 kafka broker 取消息的客 阅读全文
posted @ 2021-09-10 14:32 低调人生 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 虽然通常每个子线程只需要完成自己的任务,但是有时我们希望多个线程一起工作来完成一个任务,这就涉及到线程间通信。 关于线程间通信本文涉及到的方法和类包括:thread.join()、object.wait()、object.notify()、CountdownLatch、CyclicBarrier、F 阅读全文
posted @ 2021-09-07 11:31 低调人生 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 0、为什么需要主从复制? 1、在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。 2、做数据的热备 3、架构的扩展。业务量越来越 阅读全文
posted @ 2021-09-02 18:07 低调人生 阅读(45) 评论(0) 推荐(0) 编辑