Hadoop的伪分布式安装

===================主机环境配置开始===============================

step1：安装VMware Workstation Pro

step2：安装Ctenos7

step3：在VMware中更改虚拟机网络类型为NAT方式（虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到）

step4：修改网卡信息

#找到对应网卡
cd /etc/sysconfig/network-scripts/ 
vi ifcfg-ens32
#修改为static
BOOTPROTO=static
#修改为yes
ONBOOT=yes
#追加以下信息（NAT设置中可以找到IP填入）
GATEWAY=192.168.163.2
IPADDR=192.168.163.128
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
ARPCHECK=no

step5：重启网络服务 service network restart （重启之后可以ping一下是否通）

step6：修改主机名 vi /etc/sysconfig/network 添加一列 HOSTNAME=cMaster 

step7：修改主机名与IP映射，在root身份下 vi /etc/hosts  添加一行 192.168.2.100    cMaster

step8：关闭防火墙；

#查看防火墙状态
service iptables status
#临时关闭防火墙
service iptables stop
#关闭防火墙自动启动
chkconfig iptables off

======================主机环境完成================================

======================JDK安装开始================================

step1：下载jdk

step2：解压

step3：配置环境变量 vi /etc/profile （配置完成后执行 source /etc/profile 使其生效）

#配置环境变量
export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191
export HADOOP_HOME=/home/ws/hadoopApp/hadoop-3.0.2
export CLASSPATH=.:${JAVA_HOME}/lib.dt.jar:${JAVA_HOME}/lib/tools.jar

=====================JDK安装完成================================

====================Hadoop安装配置开始==========================

step1：下载Hadoop

step2：解压

step3：配置hadoop-env.sh（其配置文件均在hadoop-3.0.2/etc/hadoop下）

#修改JAVA_HOME为自定义安装的路径
 export JAVA_HOME=/home/ws/hadoopApp/jdk1.8.0_191

step4：配置 core-site.xml

#添加如下代码

<configuration>

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/ws/hadoopApp/cloudData</value>
 </property>

 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://cMaster:9000/</value>
 </property>

</configuration>

step5：配置hdfs-site.xml

#添加如下代码

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
 <name>dfs.http.address</name>
 <value>192.168.163.128:50070</value>
</property>

</configuration>

step6：配置mapred-site.xml（若文件名为mapred-site.xml.template，则先修改  mv mapred-site.xml.template mapred-site.xml ）

#添加如下代码
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

step7：配置yarn-site.xml

#添加如下代码
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cMaster</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

step8：配置Hadoop环境变量（ vi /etc/profile 同java配置）

step9：创建公钥 / 私钥

#生成秘钥
ssh-keygen -t rsa

#创建authorized_keys文件并修改权限为600
cd .ssh
touch authorized_keys
chmod 600 authorized_keys

#将公钥追加到authorized_keys文件中去
cat id_rsa.pub >> authorized_keys

#尝试能否成功免密登录
ssh cMaster

step10：初始化（格式化）

 hadoop namenode -format 

step11：启动

 start-dfs.sh

start-yarn.sh 

step12：查看

 jps 

step13：访问web管理页面

 #输入IP地址+端口号（50070）如： 192.168.163.128:5007 

step14：window下修改主机和IP映射

文件地址： C:\Windows\System32\drivers\etc\hosts

====================Hadoop安装配置j结束==========================

====================MapReduce测试==============================

 

使用MapReduce自带的统计词汇程序进行测试

step1：在hdfs下建立一个文件夹用于装输入文本

hadoop fs -mkdir hdfs://cmaster:9000/wordcount/input

step2：将测试文件上传

 hadoop fs -put test.txt /wordcount/input

step3：找到测试jar包

#hadoop-mapreduce-examples-3.0.2.jar测试jar包所在路径
cd /home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/

step4：测试并将结果输入到指定文件夹

hadoop jar hadoop-mapreduce-examples-3.0.2.jar wordcount /wordcount/input /wordcount/output

注：测试时若报下列错误

[2018-11-18 20:57:15.662]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决办法：

①输入  hadoop classpath 得到classpath

②在yarn-site.xml 中添加下列代码其中value就是classpath输出结果

<property>
<name>yarn.application.classpath</name>
<value>/home/ws/hadoopApp/hadoop-3.0.2/etc/hadoop:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/common/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/hdfs/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/mapreduce/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/lib/*:/home/ws/hadoopApp/hadoop-3.0.2/share/hadoop/yarn/*</value>
</property>

 

step5：查看结果

#查看目录
 hadoop fs -ls /wordcount/output
#查看结果文件
 hadoop fs -cat /wordcount/output/part-r-00000

或者在web端查看。

====================MapReduce测试结束==============================

 几篇安装参考网页

https://blog.csdn.net/hliq5399/article/details/78193113

https://blog.csdn.net/boom_man/article/details/78192385

https://www.cnblogs.com/thousfeet/p/8618696.html

https://www.cnblogs.com/zhangyinhua/p/7647686.html#_lab2_0_1