星环TDH之kafka笔记

1.kafka开通krb认证之后,需要在消费kafka时候加载配置文件

./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-factor 1

消费kafka,并打印出来数据

./kafka-console-consumer.sh --bootstrap-server 198.28.1.81:9092 --topic hs_user_useroperlog --from-beginning --new-consumer --consumer.config ../config/consumer.properties

需要加入--consumer.config ../config/consumer.properties配置,否则回报出来错误

错误如下:image

2.明确kafka格式问题kafka最终的数据都是统一的数据,最终转换之后的数据如下:

image

3.Tdhclient目录下kafka目录结构

image

image

tdh比较好的是很多配置文件都整理好了,可以直接使用


posted @ 2021-11-01 14:16  Tim&Blog  阅读(69)  评论(0编辑  收藏  举报