windows10下Kafka环境搭建

Zookeeper：
1) 建议下载稳定版。

下载地址：http://mirrors.hust.edu.cn/apache/zookeeper/
2)    下载后解压到一个目录：eg: D:\Java\Tool\zookeeper-3.4.10

3)    在zookeeper-3.4.10目录下，新建文件夹，并命名(eg: data).(路径为：D:\Java\Tool\zookeeper-3.4.10\conf\data)

4)    进入Zookeeper设置目录，eg: D:\Java\Tool\zookeeper-3.4.10\conf

       复制“zoo_sample.cfg”副本à并将副本重命名为“zoo.cfg”

       在任意文本编辑器（eg：记事本）中打开zoo.cfg

       找到并编辑dataDir=D:\\Java\\Tool\\zookeeper-3.4.10\\data

5)    添加系统环境变量：

       在系统变量中添加ZOOKEEPER_HOME = D:\Java\Tool\zookeeper-3.4.10

       编辑path系统变量，添加为路径%ZOOKEEPER_HOME%\bin

6)    在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）

7)    Dos下运行：zkserver

 

Kafka：
1)    安装包：kafka_2.12-1.0.0.tgz

       下载地址：http://kafka.apache.org/downloads.html

       推荐版本：kafka_2.12-1.0.0.tgz       

2)    下载后解压缩。eg: D:\Tools\kafka_2.11-1.0.0\
3)    建立一个空文件夹 logs. eg: D:\Tools\kafka_2.11-1.0.0\logs

4)    进入config目录，编辑 server.properties文件(eg: 用“写字板”打开)。

       找到并编辑log.dirs= D:\\Tools\\kafka_2.11-1.0.0\\logs

       找到并编辑zookeeper.connect=localhost:2181。表示本地运行。

       (Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181)

运行：请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行。（就是开着Zookeeper窗口不要关）

1)    在 D:\WorkSoftware\kafka_2.11-1.0.0下，按住shift+鼠标右键。

       选择“在此处打开Powershell窗口（S）”（如果没有此选项，在此处打开命令窗口）。

2)    运行：.\bin\windows\kafka-server-start.bat .\config\server.properties

Elasticsearch:

启动Elasticsearch，点击bin/elasticsearch.bat

http://localhost:9200/

kibana:

启动：点击bin/kibana.bat

http://localhost:5601

 

filebeat：

配置filebeat传输日志到kafka

output.kafka:
  enabled: true
  hosts: ["111.11.1.243:9092"]
  topic: test


打开刚才解压目录 按住ctrl+shift 并同时鼠标右键打开cmd窗口执行命令 
.\filebeat -e -c filebeat.yml 就可以启动filebeat

storm
下载：
https://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.3/apache-storm-1.2.3.zip
启动：
storm.py nimbus
storm.py supervisor
storm.py ui
启动完毕,输入http://127.0.0.1:9999/index.html访问


redis:
 启动 redis-server.exe redis.windows.conf
集群启动：

redis-trib.rb create --replicas 0 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382