hadoop细节配置

hadoop虽然已经安装，但是对于一些细节的配置仍然不到位，会影响之后的使用

一、集群的启动

 

注：这里的hadoop102是我自己虚拟机的名称，启动时需要和自己的虚拟的名称相同

 二、集群崩溃解决（etc bin目录没有被破坏）

 

 注：启动集群之后，如果不小心删除数据，可以采用上述方法进行恢复，但是一般也用不上

三、配置历史服务器

 

 四、配置日志的聚集

 

 五、两个脚本，方便启动集群和查看jps

<!-- 集群快速启动、关闭脚本 -->
#!/bin/bash
if [$# -lt 1]
then
    echo "No Args Input..."
    exit;
fi

case $1 in
"start")
    echo "=======启动hadoop集群======="
    echo "------启动hdfs------"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/start-dfs.sh"
    echo "--------启动yarn--------"
    ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/start-yarn.sh"
    echo "--------启动历史配置服务器"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon start historyserver"
;;
"stop")
    echo "======关闭hadoop集群======"
    echo "--------关闭历史配置服务器"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon stop historyserver"
    echo "--------关闭yarn--------"
    ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/stop-yarn.sh"
    echo "------关闭hdfs------"
    ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input args error"
;;
esac

<!--查看所有jps-->
#!/bin/bash
for host in $host  <!--虚拟机的hostname数组-->
do
    echo ========$host========
    ssh $host jps
done