如何启动hadoop，并检查是否启动成功

1、进入到/hadoop-3.2.1/sbin，执行 ./start-all.sh start

             

        

 启动成功如上图所示。

2、可以使用以下命令来检查Hadoop服务是否正在运行：

1. 检查Hadoop NameNode，如果输出结果中包含“NameNode”，那么说明NameNode正在运行。

   jps | grep NameNode

2. 检查Hadoop DataNode，如果输出结果中包含“DataNode”，那么说明DataNode正在运行。

   jps | grep DataNode

3. 检查Hadoop ResourceManager，如果输出结果中包含“ResourceManager”，那么说明ResourceManager正在运行。

   jps | grep ResourceManager

4. 检查Hadoop NodeManager，如果输出结果中包含“NodeManager”，那么说明NodeManager正在运行

   jps | grep NodeManager

   如果以上所有命令都输出结果，则说明Hadoop服务已经成功启动。如果有任何一个命令没有输出结果，则说明相应的服务没有启动或者已经停止。

通常可以使用jps一键快捷查询：

           

如上图中查看进程，少一个DataNode进程，所以hive查询时还会出问题

           

 3、问题排查

      3.1、如果您的Hadoop集群启动成功，但是jps命令输出中没有DataNode进程，请尝试以下几个步骤：

• 执行hdfs dfsadmin -report命令来查看各个DataNode的状态。如果所有DataNode都显示为“Dead”，则可能是由于网络配置问题导致DataNode无法与NameNode通信。请检查您的网络配置并确保它们正确。
• 检查每个DataNode节点上的日志文件，并查找任何异常或错误消息。DataNode的日志文件通常位于$HADOOP_HOME/logs/hadoop-<username>-datanode-<hostname>.log。可以使用tail -f命令来跟踪实时日志输出。

         

 　　3.2、查看日志，查看DataNode, NameNode 的VERSION文件

a.进入每个DataNode节点的命令行界面上，输入以下命令：
cd /hadoop-3.2.1/hadoop-user/dfs/data/current/
vi VERSION
hadoop-user为您的Hadoop安装目录

然后，将会进入到一个文本编辑器界面，里面会显示类似下面的内容：
#Tue Sep 21 17:49:04 CST 2021
storageID=DS-111xxxx - -xxx944010
clusterID=CID-d8ba-xxxxxxx-x7fed1fc
cTime=0
datanodeUuid=e4d9340c-xxxxxxx-e7c5d1139

　　b.在NameNode节点的命令行界面上，输入以下命令：

cd /hadoop-3.2.1/hadoop-user/dfs/namesecondary/current/
vi VERSION

然后，将会进入到一个文本编辑器界面，里面会显示如下内容：
#Tue Sep 21 17:49:03 CST 2021

storageType=NAME_NODE
namespaceID=111119999
clusterID=CID-248799---xxxxxxxxxx-48249c2da
cTime=0