随笔分类 -  kafka

jmxtrans+InfluxDb+Grafana
摘要:参考: jmxtrans+InfluxDb+Grafana部署: https://www.jianshu.com/p/ac30f06d433f GG jmx:http://www.jmxtrans.org/jmxtrans监控kafka参数:https://www.sohu.com/a/166756 阅读全文

posted @ 2020-03-02 19:17 锋锋2019 阅读(533) 评论(0) 推荐(0)

数据的采集
摘要:采集简单分类: 采集类型: 全量 采集: 相当于每天整张表做个快照,在hdfs上就是一个分区 ,表比较小 增量采集: 采集每天增加的部分 表命名规则:-i结尾: 流水型的纯增量的-d结尾: 快照的-a结尾: 全量没有任何分区 1、流水型数据 : 写入数据库数据不再发生变化(如日志,交易流水) , 第 阅读全文

posted @ 2019-12-16 12:28 锋锋2019 阅读(843) 评论(0) 推荐(0)

flume部署
摘要:参考: 笔记 https://www.cnblogs.com/yinzhengjie/p/11183988.html 官网: http://flume.apache.org/documentation.html user guide: https://github.com/apache/flume/ 阅读全文

posted @ 2019-12-05 12:19 锋锋2019 阅读(92) 评论(0) 推荐(0)

canal原理&部署
摘要:原理: https://www.jianshu.com/p/87944efe1005 部署: https://www.cnblogs.com/janes/p/9318576.html https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ 阅读全文

posted @ 2019-12-05 11:30 锋锋2019 阅读(335) 评论(0) 推荐(0)

kafka外网访问配置
该文被密码保护。

posted @ 2019-12-03 17:09 锋锋2019 阅读(3) 评论(0) 推荐(0)

bi-kafka
该文被密码保护。

posted @ 2019-11-26 17:01 锋锋2019 阅读(4) 评论(0) 推荐(0)

kafka原理和操作
摘要:参考: 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 常用配置参数: https://www.cnblogs.com/yinzhengjie/p/9652392.html 官网: http://kafka.apache.org/docu 阅读全文

posted @ 2019-11-17 12:22 锋锋2019 阅读(164) 评论(0) 推荐(0)

oride采集体系
该文被密码保护。

posted @ 2019-11-07 17:45 锋锋2019 阅读(5) 评论(0) 推荐(0)

binlog 采集系统构建
该文被密码保护。

posted @ 2019-11-07 16:05 锋锋2019 阅读(10) 评论(0) 推荐(0)

kafka调优
摘要:kafka调优:[root@bi-kafka-1 bin]# pwd/data/kafka-9092/bincat kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G 阅读全文

posted @ 2019-10-12 16:37 锋锋2019 阅读(1078) 评论(0) 推荐(0)

公司kafka配置文件server.properties
该文被密码保护。

posted @ 2019-10-12 16:35 锋锋2019 阅读(3) 评论(0) 推荐(0)

confluent部署:
摘要:confluent介绍https://www.cnblogs.com/dadadechengzi/p/9506964.html kafka connect:https://www.cnblogs.com/dadadechengzi/p/9506216.html 官网文档:https://docs.c 阅读全文

posted @ 2019-10-11 15:47 锋锋2019 阅读(1058) 评论(0) 推荐(0)

kafka部署
摘要:参考: 笔记 原理: https://www.cnblogs.com/yinzhengjie/p/9780976.html 部署: www.cnblogs.com/yinzhengjie/p/9209319.html 官网; kafka的详细参数看官网,找到相应版本. kafka.apache.or 阅读全文

posted @ 2019-10-11 12:02 锋锋2019 阅读(336) 评论(0) 推荐(0)

kafka修改topic副本数
摘要:工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --top 阅读全文

posted @ 2019-07-18 21:48 锋锋2019 阅读(13299) 评论(0) 推荐(0)

导航