大数据，十有八九挂在装环境上

虚拟机设置就跳过了。

 

安装JDK

1. 首先是切换到root用户 (su -root)

2.1 看一下现在有没有装java

rpm -qa | grep java

2.2 如果有就需要卸载

rpm -e --nodeps 包

3. 把安装包放到sortware目录，

开始安装

4. 目标位置建一个目录，例如叫 java

5. 修改权限，chmod 777 包名

6. 解压，tar -zxvf 包名 -C 准备安装的地方

7. 配置环境变量

vi /etc/profile

把这段话放到最后（按G到文本最后）

export JAVA_HOME=/usr/java/jdk1.8.0_231  # 这里要看清楚安装位置以及安装名字
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:{JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

8. 重新编译环境变量

source /etc/profile

9. 测试

java -version

 

安装tomcat

跟上面步骤差不多。

前期准备就不说了。

开始安装

4. 目标位置建一个目录，例如叫 tomcat

5. 修改权限，chmod 777 包名

6. 解压，tar -zxvf 包名 -C 准备安装的地方

7. 启动tomcat

进入tomcat的bin

cd /usr/tomcat/apache-tomcat-7.0.57/bin/

./startup.sh

这个时候打开浏览器，访问192.168.80.121:8080

不行？你忘关防火墙了！！（systemctl stop firewalld）

就可以看到tomcat的首页。前面不加http，就算加，也不能加https（坑）

8. 停止tomcat

./shutdown.sh

9. 查看tomcat日志

tail -200f /usr/tomcat/apache-tomcat-7.0.57/logs/catalina.out

或者

./startup.sh && tail -200f ../logs/catalina.out

 

hadoop集群最好就是代码同步，

所以需要写一个脚本，方便集群代码同步

在 /usr/local/bin这个目录下存放脚本，root用户可以在系统任何地方执行。

因为需要用到rsync 需要安装

yum install -y rsync

#!/bin/bash

#1 获取命令输入参数的个数，如果个数为0，直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi

#2 根据传入参数获取文件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name

#3 获取输入参数的绝对路径

pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取用户名称
user=`whoami`

#5 循环执行rsync

for((host=1; host<4; host++)); do

echo ------------------- centos7-$host --------------
rsync -rvl $pdir/$file_name $user@centos7-$host:$pdir

done

修改脚本权限。

chmod 777 rsync-script

 

调用脚本

rsync-script /opt/lagou/servers/hadoop-2.9.2

 

 

服务器分布

框架	contos7-1	contos7-2	contos7-3
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	NodeManager	ResourceManager、NodeManager

 

集群启动：

搭建好后第一次启动前需要格式化。仅仅第一次启动。

hadoop namenode -format

（如果多次格式化，无法启动。那就删掉 /opt/lagou/servers/hadoop-2.9.2/data/tmp 整个目录，再格式化。大坑）

 

群起

hadoop

在namenode(NN)服务器上

start-dfs.sh

 

在resourcemanager(RM)服务器上

start-yarn.sh