kettle整合kafka-consumer插件

Kettle安装Kafka Consumer插件：

1. 下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5    或者　　pentaho-kafka-consumer-v1.5
2. 进入kettle安装目录：选中plugin中创建steps

　　　　

　　　3.　把pentaho-kafka-consumer-v1.5 解压后放入到steps中

　　　　

 

　　　4.更新对应lib下的包，就是把》steps>pentaho-kafka-consumer>lib中的jar包放入到$KETTLE_HOME/lib中

　　　　

　　　5.重启Spoon.sh即可。

　　　　在核心对象搜索输入，就看看到  

　　　　

 

 

---

 

 测试：

　　　　创建一个转换：

　　　　

---

这要求系统安装kafka和zk，（单机环境下测试用）

　　　　1》zk的安装　　　　　　》》》参考 　　zookeeper单机，伪分布式，集群安装解析（转载）

　　　　2》kafka的单机安装　　  》》》参考　　kafka的单机安装

　　　　假设上述安装成功:

　　启动测试：

　　　　注意，先启动zk  ，再启动kafka.我的启动如下

　　　　

　　　　

　　　　

　　　启动成功

 　　

---

 

简单测试一下：　　　

　　打开2个终端，分别在Kafka目录执行以下命令 
　　　　启动producer

　　　　　　bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

　　　　启动consumer

　　　　　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

 

　　　　在producer的命令行输入任意字符，观察consumer是否能正确接收。

　　　　

　　　　producer输入：记得回车

　　　

　　　　consumer可以看到：