今日总结

今天学习了hadoop伪分布式

3.2 伪分布式运行模式
3.2.1 启动 HDFS 并运行 MapReduce 程序
配置集群，修改 Hadoop 的配置文件（/hadoop/hadoop-2.7.7/etc/hadoop 目录下）

① core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://lyh:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.7.7/data/tmp</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
  ② hadoop-env.sh

   修改 JAVA_HOME 路径：

# The java implementation to use.
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
1
2
  ③ hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1
2
3
4
5
6
7
启动集群

① 格式化 NameNode（第一次启动时格式化，以后就不要总格式化）

hdfs namenode -format
1
  ② 启动 NameNode

hadoop-daemon.sh start namenode
1
  ③ 启动 DataNode

hadoop-daemon.sh start datanode
1
查看集群

① 查看是否启动成功

② web 端查看 HDFS 文件系统

http://192.168.217.129:50070

操作集群

① 在 HDFS 文件系统上创建一个 input 文件夹

hdfs dfs -mkdir -p /user/lyh/input
1
  ② 将测试文件内容上传到文件系统上

hdfs dfs -put wcinput/wc.input /user/lyh/input/
1
  ③ 在 hadoop-2.7.7 目录下，运行 MapReduce 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lyh/input/ /user/lyh/output
1
  ④ 查看输出结果

   命令行查看：

hdfs dfs -cat /user/atguigu/output/*
1

   浏览器页面查看：

————————————————
版权声明：本文为CSDN博主「西门催学不吹雪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42837961/article/details/105493561