10 2018 档案

Kafka Connect使用入门-Mysql数据导入到ElasticSearch
摘要：1.Kafka Connect Connect是Kafka的一部分，它为在Kafka和外部存储系统之间移动数据提供了一种可靠且伸缩的方式，它为连接器插件提供了一组API和一个运行时-Connect负责运行这些插件，它们负责移动数据。Connect以worker进程集群的方式运行，基于work进程安装 阅读全文
posted @ 2018-10-26 17:31 远去的列车 阅读(6936) 评论(0) 推荐(1)
Kafka中使用Avro编码、解码消息
摘要：1.消费者代码 2. 消费者代码 3. pom依赖 阅读全文
posted @ 2018-10-14 17:48 远去的列车 阅读(4988) 评论(0) 推荐(0)
Hbase备份以及清表脚本
摘要：脚本主要是方便自己工作使用，服务器环境中配置了hbase相关环境变量 1.hbase备份脚本 2. hbase清表脚本 阅读全文
posted @ 2018-10-11 19:02 远去的列车 阅读(597) 评论(0) 推荐(0)
Kafka消费者手动提交消息偏移
摘要：生产者每次调用poll()方法时，它总是返回由生产者写入Kafka但还没有消费的消息，如果消费者一致处于运行状态，那么分区消息偏移量就没什么用处，但是如果消费者发生崩溃或者有新的消费者加入群组，就会触发再均衡，完成再均衡之后，每个消费可能分配到新的分区，而不是之前处理的那个，为了能够继续之前的工作， 阅读全文
posted @ 2018-10-10 20:27 远去的列车 阅读(7725) 评论(0) 推荐(0)
Kafka客户端编程入门介绍
摘要：1.maven依赖 2.生产者 3.自定义分区 4.消费者 阅读全文
posted @ 2018-10-08 20:18 远去的列车 阅读(228) 评论(0) 推荐(0)
Kafka常用命令
摘要：Kafka的bin目录下有许多脚本，方便使用，例如与主题相关的kafka-topics.sh 脚本，这里假设kafka在zookeeper上的根目录为/kafka1 1.查看主题： 2.创建主题： 3.删除主题： 4.进入zookeeper，查看kafka相关目录： 5. 控制台打印主题中的消息 阅读全文
posted @ 2018-10-08 19:53 远去的列车 阅读(555) 评论(0) 推荐(0)