Kafka常用命令之kafka-console-consumer.sh
摘要:kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类,并将提供的命令行参数全部传给该类实现。 1.手动插入数据 kafka-console-producer.sh --
阅读全文
kafka_start
摘要:vim vim /etc/supervisord.d/kafka_start.ini [program:kafka_start] command=/usr/local/kafka/kafka_2.13-2.5.0/bin/kafka-server-start.sh /usr/local/kafka/
阅读全文
kafka基本使用
摘要:kafka基本命令行 kafka-topics.sh --zookeeper 192.168.104.91:2181,192.168.104.92:2181,192.168.104.93:2181 --create --topic events --partitions 3 --replicatio
阅读全文
多节点多Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 多节点多Broker部署和使用 0. 服务器地址 先安装zookeeper集群 https://www.cnblogs.com/yoyo1216/p/12700989.
阅读全文
单节点多Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs /usr/local/kafka/logs1
阅读全文
单节点单Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs cd /usr/local/kafka 2.下
阅读全文
Kafka: 消息队列
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 Kafka部署 单节点单Broker部署和使用 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs
阅读全文
使用Flume
摘要:实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中 cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sour
阅读全文
centos7 安装Flume
摘要:Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据 Flume架构和核心组件 Source 收集 Channel 处理 Sink 输出 1.安装java1.8版本 https://www.cnblogs.com/yoyo1216/p/12668926.html 2.创建
阅读全文