随笔分类 -  大数据环境搭建

大数据环境搭建
14（spark环境搭建）
摘要：1，安装java8 cd /software 上传文件 tar -zxvf ./jdk-8u181-linux-x64.tar.gz vi /etc/profile 四台机器 export JAVA_HOME=/software/jdk1.8.0_181 export PATH=$JAVA_HOME 阅读全文
posted @ 2020-09-24 00:33 bug开发工程师 阅读(127) 评论(0) 推荐(0)
13（flume安装）
摘要：1，安装flume node0002 cd /software 上传apache-flume-1.6.0-bin.tar.gz tar xf apache-flume-1.6.0-bin.tar.gz -C /opt/sxt/ cd /opt/sxt/apache-flume-1.6.0-bin/c 阅读全文
posted @ 2020-09-02 20:17 bug开发工程师 阅读(112) 评论(0) 推荐(0)
12(kafka安装)
摘要：1，修改配置 node0002: cd /software 上传kafka_2.10-0.9.0.1.tgz tar xf kafka_2.10-0.9.0.1.tgz -C /opt/sxt/ cd /opt/sxt/kafka_2.10-0.9.0.1 cd config/ vi server. 阅读全文
posted @ 2020-09-01 19:24 bug开发工程师 阅读(125) 评论(0) 推荐(0)
11（storm完全分布式安装）
摘要：Nimbus Supervisor Zookeeper node0002 1 1 node0003 1 1 node0004 1 1 1,修改配置文件 cd /opt/sxt/apache-storm-0.10.0/conf/ vi storm.yaml 修改zookeeper的相关信息 storm 阅读全文
posted @ 2020-08-24 23:35 bug开发工程师 阅读(138) 评论(0) 推荐(0)
10（storm 伪分布式安装）
摘要：1，上传storm包（node0002） cd /software 上传apache-storm-0.10.0.tar.gz tar xf apache-storm-0.10.0.tar.gz -C /opt/sxt/ 解压 vi + /etc/profile (配置环境变量) export STO 阅读全文
posted @ 2020-08-23 23:21 bug开发工程师 阅读(124) 评论(0) 推荐(0)
9（hbase完全分布式安装）
摘要：1，修改配置 node0001: cd /opt/sxt/hbase/conf vi hbase-env.sh (找到最后 export HBASE_MANAGES_ZK=false 并去掉注释 ，用自己搭建的zookeeper集群不用自带的) vi hbase-site.xml (替换所有) <p 阅读全文
posted @ 2020-08-10 23:57 bug开发工程师 阅读(117) 评论(0) 推荐(0)
8（hbase单节点搭建）
摘要：1，找一台没有zookeeper的机器安装 node0001:cd /software (上传hbase-0.98.12.1-hadoop2-bin.tar.gz 和protobuf-2.5.0.tar.gz) tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 阅读全文
posted @ 2020-08-09 22:33 bug开发工程师 阅读(160) 评论(0) 推荐(0)
7（hive搭建模式2-多节点搭建）
摘要：node0001:mysql元数据服务 node0002:hive单节点模式 node0003:服务端 node0004:客户端 1，在0003节点搭建hive node0002:scp -r /opt/sxt/hive/ node0003:/opt/sxt/ scp -r /opt/sxt/hiv 阅读全文
posted @ 2020-08-02 15:17 bug开发工程师 阅读(497) 评论(0) 推荐(0)
6（hive搭建模式1-单节点搭建）
摘要：1，安装mysql node0001: yum install mysql-server (Y) service mysqld start (启动mysql) mysql （进入mysql） show databases; use mysql grant all privileges on *.* 阅读全文
posted @ 2020-07-31 00:49 bug开发工程师 阅读(200) 评论(0) 推荐(0)
5（基于yarn的高可用集群搭建）
摘要：NN-1 NN-2 DN ZK ZKFC JNN RS NM(和DN在一起) node0001 * * * node0002 * * * * * * node0003 * * * * * node0004 * * * * 1，修改配置文件 cd /opt/sxt/hadoop-2.6.5/etc/h 阅读全文
posted @ 2020-07-28 23:08 bug开发工程师 阅读(160) 评论(0) 推荐(0)
4（高可用hadoop集群）
摘要：namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss 阅读全文
posted @ 2020-07-23 00:37 bug开发工程师 阅读(178) 评论(0) 推荐(0)
3（全分布式安装）
摘要：NN SNN DN node0001 * node0002 * * node0003 * node0004 * 1、环境检查： 4台机器jdk安装完成 date （检查时间，相差不能超过几秒，主从节点ping不通） date -s "2020-07-18 23:32:00" (4台机器设置i相同时间 阅读全文
posted @ 2020-07-19 00:33 bug开发工程师 阅读(110) 评论(0) 推荐(0)
2（伪分布式搭建）
摘要：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、安装jdk： cd software (安装包放这里) rpm -i jdk文件名 （安装） whereis ja 阅读全文
posted @ 2020-07-17 00:56 bug开发工程师 阅读(129) 评论(0) 推荐(0)
1（linux环境搭建）
摘要：1，安装vmware 2，新建虚拟机 3，安装Linux系统 4，基本配置 网络设置可以ping通外网，检查：ping www.baidu.com 关闭防火墙 禁用安全保护，要不稍微有点问题就不行了，vi /etc/selinux/config 将改为SELINUX=disabled 删除一个东西， 阅读全文
posted @ 2020-05-15 09:47 bug开发工程师 阅读(132) 评论(0) 推荐(0)