摘要: 重复这个实验的注意事项 1.首先要知道自己topic ,分区数,checkpoint的文件夹 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic t 阅读全文
posted @ 2017-08-30 17:29 牵牛花 阅读(5739) 评论(0) 推荐(0)
摘要: public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "mini1:9092"); props.put("group.id", "test123456"); prop... 阅读全文
posted @ 2017-08-30 15:32 牵牛花 阅读(467) 评论(0) 推荐(0)
摘要: 由于用的是父-子项目 在自项目中各种改都不行,还是报错,而且子项目中明明已经导入了还在报错,后面发现是父项目中的scope是test 注释掉就好了 阅读全文
posted @ 2017-08-30 14:17 牵牛花 阅读(3029) 评论(0) 推荐(0)
摘要: Parquet是列式存储格式的一种文件类型,列式存储有以下的核心优势: 可以跳过不符合条件的数据,只读取需要的数据,降低IO数据量压缩编码可以降低磁盘存储空间,由于同一列的数据类型是一样的,可以使用更搞笑的压缩编码(例如Run Length Encoding和Delta Encoding)进一步几月 阅读全文
posted @ 2017-08-30 11:28 牵牛花 阅读(419) 评论(0) 推荐(0)
摘要: 整理kafka相关的常用命令创建主题(4个分区,2个副本)bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询集群描述bin/kafka 阅读全文
posted @ 2017-08-30 10:38 牵牛花 阅读(1104) 评论(0) 推荐(0)