虚拟机
VMware虚拟机
系统
Ubuntu16-Server，4g内存
文件传输
xftp传输
Java版本
jdk1.8
安装步骤
1.安装Ubuntu16-Server，4g内存
2.安装配置ssh https://www.cnblogs.com/cookiewu/p/9664062.html
sudo -s，输入密码进入root
apt-get install openssh-server；
启动：/etc/init.d/ssh start 重启/etc/init.d/ssh restart
*check ps -e|grep ssh如果看到sshd那说明ssh-server已经启动
3.安装jdk1.8 -from https://edelivery.oracle.com/akam/otn/java/jdk/8u251-b08/3d5a2bb8f8d4428bbe94aed7ec7ae784/jdk-8u251-windows-x64.exe
用xftp传输到虚拟机中
tar -xzvf jdk-8u191-linux-x64.tar.gz
vi /etc/profile
添加配置：
export JAVA_HOME=/Java/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
更新一下 source /etc/profile
4.安装单机版hadoop https://blog.csdn.net/hhy1107786871/article/details/85221665
解压
tar -xzvf hadoop-2.7.7.tar.gz
配置/etc/profile
export HADOOP_HOME=/Hadoop/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
配置/etc/hosts和/etc/hostname文件实现修改本机的hostname
*其实hostname无所谓
##将/etc/hosts内容修改为： 173.18.118.58 master 127.0.0.1 localhost localhost.localdomain ##将/etc/hostname内容修改为： master
生成秘钥
cd ssh-keygen -t rsa car id_rsa.pub >> ~/.ssh/authorized_keys
**遇到问题
一般为权限问题
vi /etc/ssh/sshd_config 把 permitrootlogin 的 prohibit-password 改为yes
去除了authorized keys file前面的#
PasswordAuthentication yes 去掉了前面的#
PeimitEmptyPasswords 改成了yes
chmod -R 700 ~/.ssh
安装ZooKeeper
步骤同上
./zkServer.sh start #开启 ./zkServer.sh stop #关闭
启动Hadoop
start-all.sh stop-all.sh
访问集群资源管理器 http://master:8088/cluster
HDFS node：http://master:8042/node
NameNode: http://master:50070
*注意不要打成https。 浏览器用firefox或chrome
**Hadoop问题
1.无法启动datanode节点 https://www.cnblogs.com/huifeidezhuzai/p/9211378.html
方法二：
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID
2.注意端口的分配问题，避免端口被占用的情况
3.不要重复设置secondarynode不然开启后没有secondarynode