2023年4月20日
strom
摘要： 解压storm包 配置storm环境变量 ``` #STORM_HOME export STORM_HOME=/usr/local/src/storm export PATH=$PATH:$STORM_HOME/bin ``` 配置storm.yaml ``` storm.zookeeper.ser 阅读全文
posted @ 2023-04-20 20:28 gudeman 阅读(108) 评论(0) 推荐(0) 编辑
kafka
摘要： 首先配置好zookeeper 修改kafka配置文件 config/server.properties文件中 ``` broker.id=0 port=9092 host.name=192.168.112.91 log.dirs=/usr/local/src/kafka/kafka-logs zoo 阅读全文
posted @ 2023-04-20 20:27 gudeman 阅读(39) 评论(0) 推荐(0) 编辑
spark
摘要： 首先安装JAVA，SCALA scala安装 解压包 ``` [root@master ~]# tar -zxvf scala-2.11.8.tgz -C /usr/local/src/ ``` 配置环境变量 ``` #SCALA_HOME export SCALA_HOME=/usr/local/ 阅读全文
posted @ 2023-04-20 20:26 gudeman 阅读(30) 评论(0) 推荐(0) 编辑
sqoop
摘要： 解压安装包到/usr/local/src下 ![](https://img2023.cnblogs.com/blog/3085047/202304/3085047-20230420202351101-1867806574.png) ![](https://img2023.cnblogs.com/bl 阅读全文
posted @ 2023-04-20 20:24 gudeman 阅读(10) 评论(0) 推荐(0) 编辑
hadoop HA
摘要： 之前的配置与伪分布式与完全分布式相同 不同的是配置文件，如果前面不懂的可以去看完全分布式的文章 ### HA前提调剂搭建好zookeeper集群，并且启动 **core-site.xml** ```xml fs.defaultFS hdfs://hadoopcluster hadoop.tmp.di 阅读全文
posted @ 2023-04-20 20:22 gudeman 阅读(156) 评论(0) 推荐(0) 编辑
hive
摘要： 解压hive到/usr/local/src目录下并修改名称为hive ``` mv apache-hive-3.1.3-bin hive ``` 配置hive的环境变量 ``` #HIVE_HOME export HIVE_HOME=/usr/local/src/hive export PATH=$ 阅读全文
posted @ 2023-04-20 20:10 gudeman 阅读(56) 评论(0) 推荐(0) 编辑
2023年4月14日
zookeeper集群安装
摘要： 解压zookeeper [root@master pack]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/ 配置环境变量 #ZOOKEEPER_HOME export ZOOKEEPER_HOME=/usr/local/src/zooke 阅读全文
posted @ 2023-04-14 15:45 gudeman 阅读(132) 评论(0) 推荐(0) 编辑
hadoop伪分布式集群的安装（不是单机版）
摘要： 准备工作 三台虚拟机，关闭防火墙，关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenfo 阅读全文
posted @ 2023-04-14 15:38 gudeman 阅读(153) 评论(0) 推荐(0) 编辑
2023年4月12日
hadoop完全分布式
摘要： 准备工作 三台虚拟机，关闭防火墙，关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenfo 阅读全文
posted @ 2023-04-12 20:03 gudeman 阅读(260) 评论(0) 推荐(0) 编辑
2023年4月11日
flume基本安装与使用
摘要： 解压flume包 到/usr/local/src/目录下 [root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/ 配置flume环境变量 #FLUME_HOME export FLUME_H 阅读全文
posted @ 2023-04-11 20:41 gudeman 阅读(102) 评论(2) 推荐(1) 编辑