dairui130

导航

随笔分类 -  kafka

kafka groupid
摘要:kafka 分组 简言之,就是相同分组的消费者,会分摊消费kafka中同一个topic中的数据。 阅读全文

posted @ 2019-03-06 19:08 dairui130 阅读(1028) 评论(0) 推荐(0)

kafka的分区
摘要:待做 阅读全文

posted @ 2019-03-03 17:18 dairui130 阅读(89) 评论(0) 推荐(0)

Hive ORC + SNAPPY
摘要:Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。 今天处理下面的场景时,解决了一些问题,记录下来: flume消费kafka的数据实时写入hdfs,通过创建分区表,t + 1 时,需要看到昨天的数据: flume 通过snappy 将数据写入hdfs,可以通过在fliume 阅读全文

posted @ 2019-03-01 19:02 dairui130 阅读(6031) 评论(0) 推荐(0)

kafka eagel的使用
摘要:sql语句eq: 官网地址为: https://ke.smartloli.org/3.Manuals/9.KafkaSQL.html 阅读全文

posted @ 2019-02-27 11:28 dairui130 阅读(150) 评论(0) 推荐(0)