摘要：参考: jmxtrans+InfluxDb+Grafana部署: https://www.jianshu.com/p/ac30f06d433f GG jmx:http://www.jmxtrans.org/jmxtrans监控kafka参数：https://www.sohu.com/a/166756 阅读全文

摘要：采集简单分类： 采集类型： 全量 采集： 相当于每天整张表做个快照，在hdfs上就是一个分区 ，表比较小 增量采集： 采集每天增加的部分 表命名规则:-i结尾: 流水型的纯增量的-d结尾: 快照的-a结尾: 全量没有任何分区 1、流水型数据 ： 写入数据库数据不再发生变化（如日志，交易流水） ， 第 阅读全文

摘要：参考： 笔记 https://www.cnblogs.com/yinzhengjie/p/11183988.html 官网： http://flume.apache.org/documentation.html user guide: https://github.com/apache/flume/ 阅读全文

摘要：原理： https://www.jianshu.com/p/87944efe1005 部署： https://www.cnblogs.com/janes/p/9318576.html https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ 阅读全文

该文被密码保护。

该文被密码保护。

摘要：参考: 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 常用配置参数: https://www.cnblogs.com/yinzhengjie/p/9652392.html 官网： http://kafka.apache.org/docu 阅读全文

该文被密码保护。

该文被密码保护。

摘要：kafka调优:[root@bi-kafka-1 bin]# pwd/data/kafka-9092/bincat kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G 阅读全文

该文被密码保护。

摘要：confluent介绍https://www.cnblogs.com/dadadechengzi/p/9506964.html kafka connect:https://www.cnblogs.com/dadadechengzi/p/9506216.html 官网文档:https://docs.c 阅读全文

摘要：参考: 笔记 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 部署: www.cnblogs.com/yinzhengjie/p/9209319.html 官网; kafka的详细参数看官网,找到相应版本. kafka.apache.or 阅读全文

摘要：工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活，首先想到的是下面的命令： ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --top 阅读全文