随笔分类 -  kafka

摘要：管理kafka 主题操作 1.在集群里创建一个主题需要用到3个参数。这些参数是必须提供的，尽管有些已经有broker级别的默认值。 主题名字，想要创建的主题的名字，主题名字可以包含字母，数字，下划线以及英文状态下破折号和句号。 复制系数，主题的副本数量 分区，主题的分区数量 指定主题配置 可以在创建 阅读全文

摘要：跨集群数据镜像 跨集群镜像的使用场景 1.区域集群和中心集群 2.冗余，发生紧急情况下使用第二个集群，保存相同的数据。 3.云迁移 多集群架构 跨集群中心通信的一些现实情况 1.高延迟 2.有限的宽带 3.高成本 hub和spoke架构 这种架构适用于一个中心kafka集群对应多个本地kafka集群 阅读全文

摘要：用kafka构建数据管道 把kafka看着是一个数据的端点，怎么把kafka数据移到mysql,elasticSearchs 这里面介绍kafka connect API怎么样帮忙我们把数据移到我们想要的位置。 构建数据管道时需要考虑的问题 1.及时性，kafka作为一个基于流的数据平台，提供了可靠 阅读全文

摘要：kafka可靠的数据传递 kafka可靠性保证 ACID 是关系型数据库保证数据的规范，指的是原子性，一致性，隔离性和持久性，这是数据库给出的可靠性保证。 kafka给出的保证是什么？ 1.kafka可以保证分区消息的顺序。 2.只有当消息被写入分区的所有同步副本时，它才认为是已提交的。 3.只要一 阅读全文

摘要：集群成员关系 kafka使用Zookeeper 来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到Zookeeper。kafka组件订阅Zookeeper的/brokers/ids路径， 阅读全文

摘要：kafka 消费者-从kafka读取数据 消费者和消费者群里 kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一主题，每个消费者接受主题一部分分区的消息。如果我们往群组里添加更多的消费者，超过主题的分区数量，那么有一部分消费者就会被闲置，不会接受到任何消息。往群组里增加消费者是横向伸缩 阅读全文

摘要：创建kafka生产者 要往kafka写入消息，首先要创建一个生产者对象，并设置一些熟悉。kafka生产者有3个必选的属性。 1.bootstrap.servers 该属性指定broker的地址清单，地址的格式为host:port 一般建议至少要提供两个broker的信息，一旦其中一个宏机，生产者仍然 阅读全文

摘要：发布与订阅消息系统。 数据(消息)的发送者不会直接把消息发送给接受者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者订阅他们，以便接受特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点。 传统的交互方式： 用户>应用服务器>db 缺点：高并发服务 阅读全文