kafka伪集群搭建

一、安装java环境，不再赘述。

二、下载kafka安装包

　　http://kafka.apache.org/downloads

　　选择 kafka-2.10-0.10.2.0.tgz 下载

三、搭建集群

3.1在/opt目录下创建kafka/目录

mkdir /opt/kafka

3.2将下载的 kafka-2.10-0.10.2.0.tgz 放到 /opt/kafka/ 目录下

cd /opt/kafka
tar -zxvf kafka-2.10-0.10.2.0.tgz

3.3创建kafka日志目录，这里我创建的伪集群有三台服务器，所以创建三个日志目录

mkdir /opt/kafka/kafkalogs1 kafkalogs2 kafkalogs3

3.4进入kafka-2.10-0.10.2.0.tgz的解压出来的 conf/ 目录，修改配置文件，同样集群的三台服务器分别对应一个配置文件。

cd /opt/kafka/kafka_2.10-0.10.2.0/config
cp server.properties server.properties1
cp server.properties server.properties2
cp server.properties server.properties3

修改server.properties1、2、3，主要修改：

server.properties1:
  broker.id=0
  host.name=192.168.10.130
  port=9092
  log.dirs=/opt/kafka/kafkalogs1
  zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
server.properties2:
  broker.id=1
  host.name=192.168.10.128
  port=9093
  log.dirs=/opt/kafka/kafkalogs2
  zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
server.properties3:
  broker.id=2
  host.name=192.168.10.128
  port=9094
  log.dirs=/opt/kafka/kafkalogs3
  zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183

配置文件解析：

broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=9092 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.10.130#这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8 #这个是borker进行I/O处理的线程数
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
num.partitions=1 #默认的分区数，一个topic默认1个分区数
log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
replica.fetch.max.bytes=5242880  #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183  #设置zookeeper的连接端口
zookeeper.connection.timeout.ms=6000  #zookeeper的session的过期时间
zookeeper.sync.time.ms=2000  #指定多久消费者更新offset到zookeeper中
group.id=test-consumer-group #(必需)consumer组id
consumer.timeout.ms=5000　　#消费者超时
auto.commit.enable=true #自动向zookeeper提交offset信息
auto.commit.interval.ms=1000  #自动更新时间
#consumer.id=xxx   #当前consumer的标识,如果不设置会自动生成

四、启动kafka前修改启动脚本 bin/kafka-server-start.sh

将 export KAFKA_HEAP_OPTS="-Xmx1G-Xms1G"
改为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

五、启动kafka

cd /opt/kafka/kafka_2.10-0.10.2.0
bin/kafka-server-start.sh config/server.properties1
bin/kafka-server-start.sh config/server.properties2
bin/kafka-server-start.sh config/server.properties3

当看到终端输出“[Kafka Server 0], started (kafka.server.KafkaServer)”等相关信息时，说明kafka集群启动成功。

六、创建topic验证是否创建成功

#创建Topic
bin/kafka-topics.sh --create --zookeeper zookeeper_node:2181 --replication-factor 2 --partitions 1 --topic test
#解释
partitions指定topic分区数，replication-factor指定topic每个分区的副本数
partitions分区数:
　　partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量,
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更
多的文件句柄、增加点到点的延时、增加客户端的内存消耗。分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数,分区数也限制了
producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过
alter –partitions 来增加分区数。
replication-factor副本
　　replication factor 控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
　　如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量

#在控制台上创建一个发布者
bin/kafka-console-producer.sh --broker-list kafka_node:9092 --topic test

#在控制台创建一个消费者
bin/kafka-console-consumer.sh --zookeeper zookeeper_node:2181 --topic test --from-beginning

 七、其他命令

7.1、查看topic

bin/kafka-topics.sh --list --zookeeper zookeeper_node:2181
#就会显示我们创建的所有topic

7.2、查看topic状态

bin/kafka-topics.sh --describe --zookeeper zookeeper_node:12181 --topic test
#下面是显示信息
Topic:ssports    PartitionCount:1    ReplicationFactor:2    Configs:
Topic: test      Partition: 0    Leader: 1    Replicas: 0,1    Isr: 1
#分区为为1  复制因子为2   他的  shuaige的分区为0 
#Replicas: 0,1   复制的为0，1

7.3、增加Topic分区数

　　为test增加分区

bin/kafka-topics.sh --zookeeper zookeeper_node:2181  --alter --topic test --partitions 10

7.4、删除Topic

　　只会删除zookeeper中的元数据，消息文件需要自己删除

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper zookeeper_node:2181 --topic test

7.5、查看Topic消费进度

　　这个会显示出consumer group的offset情况， 必须参数为--group， 不指定--topic，默认为所有topic

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker