kafka

ubuntu

1、软件安装目录

/snap/intellij-idea-community/273/plugins/maven/lib/maven3/conf

2、apt-get 安装软件 deb包

 

3、find . -name *xxx* 查询当前目录及所有子目录 中包含名称是“xxx”

 

sftp -P 2022 mdlz_cdp_spark@ftp.emdlz.com.cn

scp kafka2.9 root@180.76.188:/mnt/

:set nu 显示行号 :set nonu 不显示行号 

 

--replication-factor

用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。

 

 

kafka自带的zookeeper启动方式

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

加-daemon参数，可以在后台启动Zookeeper，输出的信息在保存在执行目录的logs/zookeeper.out文件中。

kafka自带的zookeeper关闭方式

bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties

自己安装的zookeeper启动关闭方式

bin/zkServer.sh start bin/zkServer.sh stauts bin/zkServer.sh stop

 

kafka启动方式

nohup bin/kafka-server-start.sh config/server.properties &

 

创建topic 主题

bin/kafka-topics.sh --create --zookeeper 192.168.31.231:2181 --replication-factor 1 --partitions 1 --topic test

 

查看主题

bin/kafka-topics.sh --list --zookeeper 192.168.31.231:2181

 

生产者往某个主题发送消息

bin/kafka-console-producer.sh --broker-list 192.168.202.128:9094 --topic test

执行这句话后是没有任何显示的

 

 

消费者接受某个主题的消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.202.128:9092 --topic test --from-beginning

 

查看主题详情

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

 

 

---

 

javac -cp "libs/*" *.java

java -cp "libs/*":. SimpleConsumer lgtest

 

 

---

 

 

错误

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 1. 只设置了一个 brokers Replication factor只能是1

 

Missing required configuration "zookeeper.connect" which has no default value.缺少必需的配置“zookeeper.connect连接“没有默认值。

 

 

from-beginning ： 从一开始

describe topics : 知道节点在做什么