Centos下 安装和测试kafka

系统Centos6.5

工具SecureCRT

1.首先下载kafka压缩包

kafka_2.9.2-0.8.1.1.tgz

解压

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

 

2.修改配置文件

首先要有zookeeper ,安装zookeeper 步骤在另外一随笔里 http://www.cnblogs.com/yovela/p/5178210.html

学到一个新命令:cd XXXX && ls就能进入同时查看文件目录

2.1.修改zookeeper.properties

vi config/zookeeper.properties

dataDir=/usr/program/zoopkeeper/zookeeper-3.4.5/tmp
clientPort=2181
maxClientCnxns=0

基本修改dataDir就可以了,其他的不要改,不记得了又要回来看

2.2.修改server.properties

vi server.properties

host.name=ip

log.dirs=/usr/program/kafka/kafka_2.9.2-0.8.1.1/kafka-logs

基本改这两个就可以了

2.3.修改/etc/hosts

如果报unknownhostException,就去修改这里

vi /etc/hosts

在最下面加上

ip    用户名

ip是主机ip,用户名是@符号后面跟着的那个

3.启动 与 测试

3.1启动zookeeper服务

在kafka目录下

[root@bogon kafka_2.9.2-0.8.1.1]# bin/zookeeper-server-start.sh config/zookeeper.properties &

回车后等它跑完,按回车即可,这时用jps查看,可以看到QuorumPeerMain,说明zookeeper启动好了

3.2 启动kafka服务

[root@bogon kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server.properties &

回车后等它跑完(会有两次输出,等待片刻),按回车即可,这时用jps查看,可以看到kafka,说明kafka启动好了

3.3创建topic

bin/kafka-topics.sh --zookeeper bogon:2181 --topic mytopic --replication-factor 1 --partitions 1 --create

bogon是我的host名,mytopic是topic名

回车后等待片刻

最后会打出一句INFO Closing socket connection toXXXXXXX

不要慌,正常的

3.4

查看刚刚新建topic

bin/kafka-topics.sh --zookeeper bogon:2181 --list

输出如上,在中间有 列出,最开始没注意到,当时还以为 出错了。。。。。。。

3.5运行producer

输入hello kafka后按回车

bin/kafka-console-producer.sh --broker-list bogon:9092 --topic mytopic  
hello kafka

3.6运行customer

SecureCRT新开一个会话,连接到这台服务,同样进入kafka的目录

bin/kafka-console-consumer.sh --zookeeper bogon:2181 --topic mytopic --from-beginning 

回车后可以看到刚刚的hello kafka

ps:异常处理

报异常:

Failed to load class "org.slf4j.impl.StaticLoggerBinder"

解决方法:

下载slf4j-1.7.6.zip
wget http://www.slf4j.org/dist/slf4j-1.7.6.zip

解压
unzip slf4j-1.7.6.zip

把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面

 

最后,删除topic

这个我还没解决,log删了,命令也打了,也重启了,就是删不掉,按照这个教程去做了,也还是list到被删除的topic,有解决的小伙伴可以告诉我哈,http://www.aboutyun.com/blog-1415-887.html

 

推荐教程网址:

1.http://www.cnblogs.com/oftenlin/p/4047504.html

2.http://www.cnblogs.com/sunxucool/p/4459020.html

posted @ 2016-02-04 16:04  Yovela  阅读(1773)  评论(0编辑  收藏  举报