Hadoop 伪分布运行模式

一 配置文件

1 配置hadoop-env.sh

[root@hadoop01 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_202
[root@hadoop01 hadoop]# vim hadoop-env.sh

 2 配置core-site.xml

#etc/hadoop/core-site.xml

<configuration>
    <!-- 指定HDFS中namenode地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.temp.dir</name>
        <value>/opt/module/hadoop-3.3.6/data/tmp</value>
    </property>
</configuration>

3 配置hdfs-site.xml

#etc/hadoop/hdfs-site.xml

<configuration>
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 二 启动集群

1 格式化namenode(第一次启动)

bin/hdfs namenode -format

2 启动namenode

 

#hadoop-3.x 
hdfs --daemon start namenode

#hadoop-2.x 
sbin/hdfs-daemon.sh start namenode

 

3 启动datenode 

#hadoop-3.x
hdfs --daemon start datanode

#hadoop-2.x 
sbin/hdfs-daemon.sh start datanode

三 查看集群

1 查看集群是否启动成功

 2 WEB查看HDFS文件系统

 hadoop-3.x   http://hadoop01.:9870/

hadoop-2.x    http://hadoop01.:50070/

注：如果本地访问不了，按以下步骤处理：

1 检查是否启动集群服务

jps

2 检查是否关闭防火墙

#检查Linux机器的防火墙状态，命令如下

systemctl status firewalld.service

#如果防火墙没有关闭，依次执行下面命令关闭防火墙

#1.关闭防火墙

systemctl stop firewalld.service 

#2.设置为开机关闭防火墙

systemctl disable firewalld.service

3 检查本地hosts文件有没有添加映射

在物理机器上找到：C:\Windows\System32\drivers\etc的hosts文件
用编辑器打开之后，在最后一行添加你所需要映射的主机名和ip

4 检查hdfs配置文件是否配好

vim hdfs-site.xml

5 其他原因