Ubuntu中搭建Hadoop集群（简记）
stp1：在Vmware虚拟机上创建Ubantu.2环境
步骤：文件—>新建虚拟机—>典型（下一步）—>下一步——>位置（不建议放c盘，文件地址一定要全英文）—>下一步—>磁盘大小（20G搭建环境够用）—>自定义硬件（内存最好设置2G，不然慢得受不了）—>完成！（漫长得等待。。。）
step2：修改主机名
临时修改主机名：
步骤：打开终端（右键，CTRL+ALT+T）—>输入 hostname （返回主机名，即@符号后得）—>输入 su 获得root权限—>密码—>hostname newname(根据需要自己定)（临时修改主机名）；
永久修改主机名：
方法1：步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install vim（下载安装文件编辑工具，很快）—>sudo vim /etc/hosts —> 点击键盘 i （插入符）—>修改主机名—>点击ESC退出编辑，输入 :wq 保存—>重启即可；
方法2：步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install vim（下载安装文件编辑工具，很快）—>sudo vim /etc/hostname —> 修改主机名—>重启即可；
详细步骤及常见错误可见：https://www.cnblogs.com/zhibei/p/9930744.html
https://www.cnblogs.com/zhibei/p/9930839.html
step3:查看ip地址：Ubuntu使用得是：ifconfig -a
步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install net-tools—>输入 ifconfig -a (注意返回2段结果，IP在第一段类似于192.163.。。)
step4:下载安装ssh
这个主要是为了远程连接和免密登录
步骤：打开终端—>输入 su —>密码—>apt install openssh—>输入sshd(不报错即成功)；
远程连接：
在windows端下载Putty端口连接工具
步骤：打开putty—>Hostname(填写IP)，Port（默认22）—>Connection type:(SSH)—>Saved Sessions(任然填入IP)—>点击 Save—>选择保存得IP，点击Load—>open(得到连接控制台)—>login as:（输入用户名）—>密码验证—>接下来就可以进行自己想要得操作啦！
免密登录：（未完。。。）
这一步很重要（只要在hadoop部署之前完成就可以啦）
这里得权限问题我还没搞清楚，不太清楚什么时候要在用户，什么时候要在root下：
步骤：输入：ssh-keygen -t rsa -P (获得公私匙对，一直回车即可)
—>输入：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys（将密匙写入ssh中）
—>输入：/etc/init.d/ssh reload；
step5：安装JDK
步骤：打开终端—>输入 su —>密码—>输入javac,回车—>根据提示选择想要得版本号直接安装（遇到询问写y）—>输入javac，返回相关信息表示安装成功—>vim /etc/profile (配置环境变量 ,如下)保存，退出编辑—>输入：source /etc/profile使配置生效（这样可以在任何目录下找到java）。
配置java环境变量：export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64（这个地址要根据你的安装路径进行更改）
export JRE_HOME= $JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
step6:安装Hadoop
尝试了直接使用连接安装，结果都失败，在这里建议大家按如下步骤，少走弯路
下载hadoop安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/（有各种版本可以自己选）
下载完成后，将安装包移动到 /home 路径下
在终端输入：tar -xvf hadoop-2.9.1.tar.gz 解压
文件配置：
cd /etc/hadoop
vim hadoop-env.sh 配置 export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64 保存并退出。
vim core-site.xml ，请自行建立/tmp/name,/tmp/data子文件，当然你可以自行指定存放目录
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.name.dir</name> <value>/home/apache/hadoop-2.9.1/tmp/name</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/apache/hadoop-2.9.1/tmp/data</value> </property>
接着，vim hafs_site.xml，请建立data文件夹
<property> <name>dfs.data.dir</name> <value>/home/apache/hadoop-2.9.1/data</value> </property>
然后vim yarn-site.xml，
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
最后：cp mapred-site.xml.plate mapred-site.xml,
vim mapred-site.xml,
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
配置Hadoop得环境变量
vim /etc/profile
#hadoop
HADOOP_HOME=/home/apache/hadoop-2.9.1
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
export HADOOP_HOME PATH
配置生效
source /etc/profile
查看hadoop版本输入hadoop version；
节点初始化：
hadoop namenode -format
启动hadoop
cd /hadoop-2.9.1/sbin/
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
查看服务启动情况输入jps命令出现下面内容启动成功
2499 NameNode
3460 NodeManager
2694 DataNode
2934 SecondaryNameNode
3705 Jps
3626 JobHistoryServer
3103 ResourceManager
可以浏览器输入http://localhost:50070 查看hadoop详情。
