返回顶部

随笔分类 -  大数据平台运维

九、部署Spark
摘要：服务和组件 Hadoop 2.7.1、Zookeeper 3.4.8、Scala 2.11.8 解压： tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz 重命名： mv spark-2.1.1-bin-hadoop2.7 spark 配置环境变量： vi /etc/pr 阅读全文
posted @ 2023-05-18 09:34 IT-sec 阅读(42) 评论(0) 推荐(0)
八、部署scala
摘要：服务和组件 Scala 2.11.8 解压： tar -zxvf scala-2.11.8.tgz 重命名： mv /usr/local/src/scala-2.11.8/ /usr/local/src/scala 分发： scp -r /usr/local/src/scala/ slave1:/u 阅读全文
posted @ 2023-05-18 09:33 IT-sec 阅读(30) 评论(0) 推荐(0)
七、部署Kafka
摘要：服务和组件 Kafka 1.0.0、Zookeeper 3.4.8 解压： tar -zxvf kafka1.0.0.tgz 重命名： mv kafka_2.11-1.0.0 kafka 切换目录： cd /usr/local/src/kafka/config 配置文档： vim server.pr 阅读全文
posted @ 2023-05-18 09:33 IT-sec 阅读(44) 评论(0) 推荐(0)
六、Flume 组件安装配置
摘要：# 解压： tar -zxvf apache-flume-1.7.0-bin.tar.gz # 重命名： mv apache-flume-1.7.0-bin/ flume # 配置环境变量： vi /etc/profile export FLUME_HOME=/usr/local/src/flume 阅读全文
posted @ 2023-05-18 09:33 IT-sec 阅读(112) 评论(0) 推荐(0)
五、Sqoop平台安装
摘要：实验任务一：下载和解压 Sqoop # 解压sqoop： tar -zxvf sqoop-1.4.7.bin__had.gz # 重命名： mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop 实验任务二：配置 Sqoop 环境 # 切换目录： cd /usr/local/ 阅读全文
posted @ 2023-05-18 09:32 IT-sec 阅读(39) 评论(0) 推荐(0)
四、HBase平台安装
摘要：解压： tar -zxvf hbase-1.2.1-bin.tar.gz 配置文件（/usr/local/src/hbase-1.2.1/conf路径下）： vi hbase-env.sh export JAVA_HOME=/usr/local/src/jdk1.8.0_181/（27） 配置文件： 阅读全文
posted @ 2023-05-18 09:32 IT-sec 阅读(22) 评论(0) 推荐(0)
二、Hive平台安装
摘要：解压文件： tar -zxvf apache-hive-2.0.0-bin.tar.gz 重命名： mv /usr/local/src/apache-hive-2.0.0-bin /usr/local/src/hive 卸载 MariaDB 数据库： rpm -qa | grep mariadb r 阅读全文
posted @ 2023-05-18 09:31 IT-sec 阅读(31) 评论(0) 推荐(0)
三、ZooKeeper平台安装
摘要：解压： tar -zxvf zookeeper-3.4.5.tar.gz 进入： cd /usr/local/src/zookeeper-3.4.5/conf 拷贝文件： cp zoo_sample.cfg zoo.cfg 编辑文件： vi zoo.cfg tickTime=2000 initLim 阅读全文
posted @ 2023-05-18 09:31 IT-sec 阅读(18) 评论(0) 推荐(0)
一、Hadoop平台安装
摘要：卸载自带 OpenJDK（最小化安装不用执行） [root@master ~]# rpm -qa | grep java [root@master ~]# rpm -e --nodeps x x x 配置免密登录 生成密钥对：[root@master ~]# ssh-keygen -t rsa（回车 阅读全文
posted @ 2023-05-18 09:29 IT-sec 阅读(49) 评论(0) 推荐(0)