摘要：1.es配置 package com.nt.es.esapi.config; import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.Re 阅读全文

摘要：1.解压安装包tar -xvf kafka_2.12-2.4.0.tgz 2.进入安装目录的子目录config下：cd kafka_2.12-2.4.0/config/ 3.编辑server.properties：vi server.properties 4.添加如下内容： # 给每一个Kafka节 阅读全文

摘要：更改测试集群版本，重新安装集群，就写了个文档记录一下。 1.关闭Linux的防火墙 临时关闭防火墙：service iptables stop永久关闭防火墙：chkconfig iptables off 2.安装JDK 配置环境： vim /etc/profile 环境变量生效: source /e 阅读全文

摘要：命令：./kafka-console-producer.sh --broker-list zookeeper:9092 --topic monitor 启动kafka生产者报错： 原因：zookeeper端口号写错了！ 总结：就算zookeeper端口写错了也能运行，但是只有再给生产者数据的时候才会 阅读全文

摘要：NetCat方式： 远程访问的方式进行消息传递 配置一个Agent，主要配置三个组件： source， channel， sink 上图中为什么channel会带s，变成channels？ 可以绑定多个 可以这么写 a1.sources.r1.channels=c1 c2 c3 但是sink只能接收 阅读全文

摘要：首先hive本质就是mapreduce，那么优化就从mapreduce开始入手。 然而mapreduce的执行快慢又和map和reduce的个数有关，所以我们先从这里下手，调整并发度。 关于map的优化： 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.bl 阅读全文

摘要：首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢？可以理解为是 阅读全文

摘要：由于没具体研究过画图，以前在公司每天都用Excel，所以很多图画都是画在了Excel上再剪切的，看着可能不太舒服。 先来看一下数据走向： 这样我们就大致了解了flume是干嘛的，在什么位置了。 Flume简介： Apache Flume是一个分布式、可信任（事务性）的弹性系统，用于高效收集、汇聚和移 阅读全文

摘要：经典组合： Flume+Kafka+Storm+HDFS/HBase Flume：分布式采集 Kafka：分布式缓存 Kafka简介： 一种分布式的、基于发布/订阅的消息系统（Scala编写的） Kafka特点： 1.消息持久化：通过O(1)的磁盘数据结构提供数据的持久化 Kafka严重依赖磁盘，但 阅读全文