2021年8月24日
Maxwell部署、简单实用、数据格式
摘要： 概述Maxwell 针对与MySQL做实时数据同步的一个开源中间件，监控MySQL binlog日志并记录每行的操作记录（insert,update,delete）。它设计的初衷是实时采集Mysql数据到Kafka，它是Kafka的Producer。 支持全表load数据 支持自动断点还原 支持按照 阅读全文
posted @ 2021-08-24 17:03 民宿 阅读(1062) 评论(0) 推荐(0)
kafka如何确定机器数量和topic分区个数
摘要： 一、Kafka压力测试 创建一个只有1个分区的topic，测试这个topic的producer吞吐量和consumer吞吐量，假设他们的值分别是Tp和Tc,单位可以是MB/s,然后假设总的目标吞吐量是Tt,那么分区数=Tt/max（Tp,Tc） 1）Kafka压测 用Kafka官方自带的脚本，对Ka 阅读全文
posted @ 2021-08-24 10:54 民宿 阅读(2649) 评论(0) 推荐(0)
Kafka内外网访问的设置
摘要： kafka的两个配置listeners和advertised.listeners listeners kafka监听的网卡的ip，假设你机器上有两张网卡，内网192.168.0.213和外网101.89.163.1 如下配置 listeners=PLAINTEXT://192.168.0.213:9 阅读全文
posted @ 2021-08-24 10:42 民宿 阅读(5563) 评论(0) 推荐(1)