摘要：
1、启动kafka集群和zookeeper集群 启动zookeeper集群 [hadoop@hadoop01 bin]zk.sh start 启动kafka集群 [hadoop@hadoop01 bin]kafka.sh start 2、创建topic [hadoop@hadoop01 ~]kafk 阅读全文
摘要：
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado 阅读全文
摘要：
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had 阅读全文
摘要：
1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst 阅读全文
摘要：
1 Kafka简介 Kafka是最初由Linkedin公司开发，它是一个分布式、可分区、多副本，基于zookeeper协调的分布式日志系统；常见可以用于web/nginx日志、访问日志，消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集 阅读全文
摘要：
1、下载对应版本的安装包 地址：https://github.com/zendesk/maxwell/releases/download/v1.21.1/maxwell-1.21.1.tar.gz 安装包名称：maxwell-1.21.1.tar.gz 2、上传服务器，这里我们选择在hadoop03 阅读全文
摘要：
1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、 Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、 阅读全文
摘要：
需求分析 我们从HDFS上的特定目录下的文件，读取到本地目录下的特定目录下 根据需求，首先定义以下3大要素 数据源组件，即source ——监控HDFS目录文件 : exec 'tail -f' 下沉组件，即sink—— file roll sink 通道组件，即channel——可用file ch 阅读全文
摘要：
需求分析： 采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs 根据需求，首先定义以下3大要素 采集源，即source——监控文件内容更新 : exec ‘tail -f file’ 下沉目标，即sink——HDFS文件系统 : hdfs 阅读全文
摘要：
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 阅读全文