kafka2.12 集群搭建

前提：

1、下载 kafka  http://kafka.apache.org/downloads

2、下载配置 zookeeper  http://www.cnblogs.com/eggplantpro/p/7120893.html

3、服务器3台，我这边是5台 

s1:10.211.55.16 zk&kafka    zk是zookeeper

s2:10.211.55.17 zk

s3:10.211.55.18 zk

s4:10.211.55.19 kafka

s5:10.211.55.20 kafka

安装：

1、解压

结构如上，中规中矩的

2、配置

cd config/
ls

 其中server.properties kafka服务主要的配置

基本配置注意四个地方

第一个：

# The id of the broker. This must be set to a unique integer for each broker.

broker.id=4 # 这个是broker 的id，必须和其它机器上的broker.id 不同 ，例如 s1中的 broker.id=0,s2中的 broker.id=1

 

第二个：

# The address the socket server listens on. It will get the value returned from 

# java.net.InetAddress.getCanonicalHostName() if not configured.

#   FORMAT:

#     listeners = listener_name://host_name:port

#   EXAMPLE:

#     listeners = PLAINTEXT://your.host.name:9092

listeners=PLAINTEXT://s1:9092  #s1 当前服务器的host 用ip 也一样。标识当前 kafka ip 和 端口

 

第三个：（可以不用配置，应该有默认的目录。建议配置一下）：

# A comma seperated list of directories under which to store log files

log.dirs=/export/servers/logs/kafka/kafka-logs  #kafka 日志存放目录

　　

 

第四个：

############################# Zookeeper #############################

 

# Zookeeper connection string (see zookeeper docs for details).

# This is a comma separated host:port pairs, each corresponding to a zk

# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".

# You can also append an optional chroot string to the urls to specify the

# root directory for all kafka znodes.

zookeeper.connect=s1:2181,s2:2181,s3:2181    #配置zk的地址和ip  kafka通过 zk 保持通信

　　

 

3、启动：

kafka-server-start.sh ../config/server.properties #启动的时候注意看错误


jps 看到  Kafka 就表示服务已经启动了，

[meichouchou@S1 ~]$ jps

4199 Kafka

3735 QuorumPeerMain

8121 Jps