大数据运行环境的运行

1.azkaban

 启动：bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本

 关闭：bin/azkaban-solo-shutdown.sh

2.kafka

注意配置server.properties,此配置文件用来配置kafka服务器，介绍几个最基础的配置

1. broker.id 申明当前kafka服务器在集群中的唯一ID，需配置为integer,并且集群中的每一个kafka服务器的id都应是唯一的，我们这里采用默认配置即可
2. listeners 申明此kafka服务器需要监听的端口号，如果是在本机上跑虚拟机运行可以不用配置本项，默认会使用localhost的地址，如果是在远程服务器上运行则必须配置，例如：listeners=PLAINTEXT:// 192.168.180.128:9092。并确保服务器的9092端口能够访问

3. zookeeper.connect 申明kafka所连接的zookeeper的地址 ，需配置为zookeeper的地址，由于本次使用的是kafka高版本中自带zookeeper，使用默认配置即可zookeeper.connect=localhost:2181

2.1 启动zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties 也可以自己创建一个启动脚本zookeeper-start.sh，内容如下：          

exec /home/hadoop/runtime/kafka_2.11-1.1.0/bin/zookeeper-server-start.sh /home/hadoop/runtime/kafka_2.11-1.1.0/config/zookeeper.properties

2.2 关闭zookeeper:没有提供脚本，只能先jps找出QuorumPeerMain所在的进程ID,然后使用命令 kill -9 pid杀掉进程

2.3 启动kafka: bin/kafka-server-start.sh config/server.properties

2.4 创建topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.5 查看topic列表：

bin/kafka-topics.sh --list --zookeeper localhost:2181

2.6 创建消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

2.7 创建生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

注意以上的localhost是在server.properties文件没有修改的情况下。如果server.properties修改成如下配置：

则在创建消费者和生产者的命令时需要如下：

--创建消费者

bin/kafka-console-consumer.sh --bootstrap-server PLAINTEXT://10.1.7.100:9092 --topic test --from-beginning

--创建生产者

bin/kafka-console-producer.sh --broker-list PLAINTEXT://10.1.7.100:9092 --topic test

实践证明，创建生产者可以不用加PLAINTEXT://也是可行的。