debian8.8单机模式部署安装kafka

debian8.8单机模式部署安装kafka

 

一、关闭SELINUX、开启防火墙9092端口

1、关闭SELINUX

vi /etc/selinux/config

#SELINUX=enforcing #注释掉

#SELINUXTYPE=targeted #注释掉

SELINUX=disabled #增加

:wq! #保存退出

setenforce 0 #使配置立即生效

2、配置防火墙，开启9092端口

vi /etc/sysconfig/iptables #编辑防火墙配置文件

# Firewall configuration written by system-config-firewall

# Manual customization of this file is not recommended.

*filter

:INPUT ACCEPT [0:0]

:FORWARD ACCEPT [0:0]

:OUTPUT ACCEPT [0:0]

-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

-A INPUT -p icmp -j ACCEPT

-A INPUT -i lo -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT

-A INPUT -j REJECT --reject-with icmp-host-prohibited

-A FORWARD -j REJECT --reject-with icmp-host-prohibited

COMMIT

:wq! #保存退出

service iptables restart #最后重启防火墙使配置生效

 

二  创建Kafka用户

useradd -d /home/kafka -m kafka
passwd kafka12345
chown -R kafka:kafka /home/kafka

 

三  安装JDK

kafka运行需要JDK支持

1  下载JDK

版本为 jdk-8u11...ux-x64.tar.gz, 下载地址为https://share.weiyun.com/d98ab6db2d2233fa6d8c14a32c396fce

2  安装方法请参考： 

http://www.cnblogs.com/tiger666/articles/7654442.html

注： 将jdk的目录放到/home/kafka下

 

四 安装Kafka

1  下载安装kafka

版本为kafka_2.10-0.10.1.1.tgz, 下载地址为https://share.weiyun.com/2c85a564551fdb2d475ff687d8187aa1

# 注意，kafka_2.10-0.10.1.1.tgz版本是已经编译好的版本，解压就能使用。

cd /home/kafka/packages
tar -zxvf kafka_2.10-0.10.1.1.tgz #解压
mv kafka_2.10-0.10.1.1 /home/kafka/ #移动到安装目录

cd /home/kafka/kafka_2.10-0.10.1.1

kafka目录：

 

2  配置kafka

mkdir /var/log/kafka #创建kafka日志目录

cd /home/kafka/kafka_2.10-0.10.1.1/config #进入配置目录

vi server.properties #编辑修改相应的参数

broker.id=0

port=9092 #端口号

host.name=192.168.0.11 #服务器IP地址，修改为自己的服务器IP

log.dirs=/usr/local/kafka/log/kafka #日志存放路径，上面创建的目录

zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

:wq! #保存退出

3、配置zookeeper

mkdir /home/kafka/kafka_2.10-0.10.1.1/zookeeper #创建zookeeper目录

mkdir /var/log/zookeeper #创建zookeeper日志目录

cd /usr/local/kafka/config #进入配置目录

vi zookeeper.properties #编辑修改相应的参数

dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

:wq! #保存退出

4  安装supervisor

(1) 安装方法见:  http://www.cnblogs.com/tiger666/articles/7651732.html

(2) 修改配置文件kafka.conf

cd /etc/supervisor/conf.d
vim kafka.conf

加入以下kafka的启动配置

[program:zookeeper]
command=/home/kafka/kafka_2.10-0.10.1.1/bin/zookeeper-server-start.sh /home/kafka/kafka_2.10-0.10.1.1/config/zookeeper.properties
direcotry=/home/kafka/kafka_2.10-0.10.1.1
user=kafka
priority=999

[program:kafka]
command=/home/kafka/kafka_2.10-0.10.1.1/bin/kafka-server-start.sh /home/kafka/kafka_2.10-0.10.1.1/config/server-%(process_num)02d.properties
process_name=%(program_name)s_%(process_num)02d
directory=/home/kafka/kafka_2.10-0.10.1.1
user=kafka
priority=998
numprocs=3

(3) 修改配置文件kafka_consumer.conf

cd /etc/supervisor/conf.d
vim kafka_consumer.conf

加入以下配置

[program:kafka_consumer]
directory = /home/hengha/hhj/kafkas ; 程序的启动目录
command = /home/hengha/env_kafka/bin/python /home/hengha/kafkas/main.py ; 启动命令，可以看出与手动在命令行启动的命令是一样的
autostart = false     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数，默认是 3
user = root          ; 用哪个用户启动
redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 100MB  ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
;stdout_logfile = /var/log/kafka_stdout.log
; 可以通过 environment 来添加需要的环境变量，一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere

修改好配置文件，启动supervisor就可以了

supervisorctl start all

查看supervisor状态

supervisorctl status

看到RUNNING就说明已启动成功