wsw_seu

摘要： 将服务器的 ACK 级别设置为-1，可以保证 Producer 到 Server 之间不会丢失数据，即 At Least Once 语义。 相对的，将服务器 ACK 级别设置为 0，可以保证生产者每条消息只会被 发送一次，即 At Most Once 语义。 At Least Once 可以保证数据 阅读全文

摘要： 数据一致性问题：消费一致性和存储一致性 例如：一个leader 写入 10条数据，2个follower（都在ISR中），F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 阅读全文

摘要： ack 应答机制 对于某些不太重要的数据，对数据的可靠性要求不是很高，能够容忍数据的少量丢失， 所以没必要等 ISR 中的 follower 全部接收成功。 所以 Kafka 为用户提供了三种可靠性级别，用户根据对可靠性和延迟的要求进行权衡， 选择以下的配置。 acks 参数配置: acks: 0: 阅读全文

摘要： 为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发送的数据后，都需要向 producer 发送 ack(acknowledgement 确认收到)，如果 producer 收到 ack，就会进行下一轮的发送，否则 阅读全文

摘要： 分区策略 1)分区的原因 (1)方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic 又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了; (2)可以提高并发，因为可以以 Partition 为单位读写了。 2)分区的原则 我们需 阅读全文

摘要： kafka工作流程： 每个分区都有一个offset消费偏移量，kafka并不能保证全局有序性。 Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。（文件topic_partition命名） topic 是逻辑上的概念，而 partition 是 阅读全文

摘要： kafka控制台基本简单操作 1)解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2)修改解压后的文件名称 3)在/opt/module/kafka 目录下创建 logs 文件 阅读全文

摘要： 1)Producer :消息生产者，就是向 kafka broker 发消息的客户端; 2)Consumer :消息消费者，向 kafka broker 取消息的客户端; 3)Consumer Group (CG):消费者组，由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数 阅读全文

摘要： (1)点对点模式(一对一，消费者主动拉取数据，消息收到后消息清除) 消息生产者生产消息发送到 Queue 中，然后消息消费者从 Queue 中取出并且消费消息。 消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue 支持存在多个消费者，但是对一个消息而言 阅读全文

摘要： 在MySQL事务初识中，我们了解到不同的事务隔离级别会引发不同的问题，如在 RR 级别下会出现幻读。但如果将存储引擎选为 InnoDB ，在 RR 级别下，幻读的问题就会被解决。在这篇文章中，会先介绍什么是幻读、幻读会带来引起那些问题以及 InnoDB 解决幻读的思路。 实验环境：RR，MySQL 阅读全文