消息系统-kafka(一)：kafka安装 配置

Kafka ：是一种高吞吐量的分布式发布订阅消息系统

• Kafka的设计目标：

           高吞吐率，一秒可以处理100万条数据读写；

          消息持久化，支持消息重放

          消息分布式，支持水平扩展；

          在线流处理(storm)和离线批处理(handoop)。

• Kafka 框架简介：

 

        zookeeper：单机、集群(XA)

        broker：kafka服务器，kafka server  先启动zookpper再启动server

        producer：消息生产者，生产数据

        consumer：消息消费者，消费订阅数据

• Kafka 安装：需要安装对应版本JDK，我服务器安装的是JDK8

            虚拟机物理机：自带zookeeper；已存在zookeeper

        下载kafka，使用ftp工具将安装包上传服务器；使用 tar -zxvf 命令解压文件

         单节点部署kafka，进入解压目录，进入bin目录下

         1.启动zookeeper： ./zookeeper-server-start.sh [-daemon] zookeeper.properties 

               [-daemon]：后台启动，zookeeper.properties  指定配置文件，现在使用默认的配置文件，出现以下界面，表示zookeeper启动成功

./zookeeper-server-start.sh ../config/zookeeper.properties

         2.启动kafka：（使用kafka自带的zookeeper和已安装的zookeeper启动kafka步骤一样）

           进入config目录，修改server.properties；修改服务器防火墙，将9092加入

dvertised.host.name = IP地址
advertised.port = 9092
advertised.listeners=PLAINTEXT://IP地址:9092

           进入bin目录，修改server.properties，将内存设置的小一些

export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"

         启动broker

 ./kafka-server-start.sh ../config/server.properties

        启动consumer，topic为test

./kafka-console-consumer.sh --bootstrap-server  IP地址:9092  --topic test  --from-beginning

        启动生产者

      ./kafka-console-producer.sh --broker-list IP地址:9092  --topic test

现在可以在生产者生产一个消息，在消费者接受到这个消息

kafka使用虚拟机、物理机使用自带的zk部署完成。

• Kafka 安装：使用服务器已存在zookeeper，安装zookeeper教程。

        首先保证zookpper已经关闭，使用lsof -i:2181和lsof -i:9092 查看端口监听情况。

        注意：在centos下是不能使用lsof这个命令的，需要安装，解决方案有两种

         ①yum install lsof

         ②yum install lsof.x86_64 0:4.82-5.el6 -y  在第一种不能正常安装，使用第二种方法。

         普通用户直接启动zookeeper，使用lsof -i查看是否启动成功。

         在root用户下，启动kafka，启动方法和自带的zk启动一样，具体见上。