大数据运行环境的运行

1.azkaban

 启动:bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本

 关闭:bin/azkaban-solo-shutdown.sh

2.kafka

注意配置server.properties,此配置文件用来配置kafka服务器,介绍几个最基础的配置

  1. broker.id 申明当前kafka服务器在集群中的唯一ID,需配置为integer,并且集群中的每一个kafka服务器的id都应是唯一的,我们这里采用默认配置即可
  2. listeners 申明此kafka服务器需要监听的端口号,如果是在本机上跑虚拟机运行可以不用配置本项,默认会使用localhost的地址,如果是在远程服务器上运行则必须配置,例如:listeners=PLAINTEXT:// 192.168.180.128:9092。并确保服务器的9092端口能够访问
  3. zookeeper.connect 申明kafka所连接的zookeeper的地址 ,需配置为zookeeper的地址,由于本次使用的是kafka高版本中自带zookeeper,使用默认配置即可zookeeper.connect=localhost:2181

2.1 启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 也可以自己创建一个启动脚本zookeeper-start.sh,内容如下:          

exec /home/hadoop/runtime/kafka_2.11-1.1.0/bin/zookeeper-server-start.sh /home/hadoop/runtime/kafka_2.11-1.1.0/config/zookeeper.properties

2.2 关闭zookeeper:没有提供脚本,只能先jps找出QuorumPeerMain所在的进程ID,然后使用命令 kill -9 pid杀掉进程

2.3 启动kafka: bin/kafka-server-start.sh config/server.properties

2.4 创建topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.5 查看topic列表:

bin/kafka-topics.sh --list --zookeeper localhost:2181

2.6 创建消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

2.7 创建生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

注意以上的localhost是在server.properties文件没有修改的情况下。如果server.properties修改成如下配置:

则在创建消费者和生产者的命令时需要如下:

--创建消费者

bin/kafka-console-consumer.sh --bootstrap-server PLAINTEXT://10.1.7.100:9092 --topic test --from-beginning

--创建生产者

bin/kafka-console-producer.sh --broker-list PLAINTEXT://10.1.7.100:9092 --topic test

实践证明,创建生产者可以不用加PLAINTEXT://也是可行的。

posted @ 2018-05-16 14:34  Franson  阅读(348)  评论(0编辑  收藏  举报