hadoop-2.9.2搭建伪分布式集群
准备4台机器分别为node1 node2 node3 node5
1、第一台node1
1、修改固定IP
2、修改主机名
3、添加与其他机器的映射
2、第二台机器
通过克隆复制多个，按上面的配置进行配置
3、免密登录
假如node1需要免密登录到node2 node3 node5
在node1的机器上执行
ssh-keygen -t rsa
生成的秘钥文件在root/.ssh目录下
在node1上把生成的公钥给其他node2 node3 node5
在其他机器上执行 cat id_rsa.pub >> /root/.ssh/authorized_keys
这样就实现了免密登录
4、解压hadoop-2.9.2
解压后放到这里
然后修改配置文件
1、vi hadoop-env.sh
2、core-site.xml
19 <configuration>
20 <property>
21 <name>fs.defaultFS</name>
22 <value>hdfs://node1:9000</value>
23 </property>
24 <property>
25 <name>hadoop.tmp.dir</name>
26 <value>/opt/hadoop-2.9</value>
27 </property>
28 </configuration>
3、vi hdfs-site.xml
4、vi slaves
5、vi masters 这个文件不存在，需要创建
6、初始化hdfs
hdfs namenode -format
hdfs namenode -format -force 强制格式化，同步到datanode
7、启动
start-dfs.sh
8、访问
如果出现这种情况
firewall-cmd --zone=public --add-port=你的端口/tcp --permanent #将端口加入防火墙
systemctl restart firewalld.service #重启防火墙
如上图所示，livenodes 节点为0 ，那是为什么呢？
就在于此，node1的namenode节点9000的端口问题
查看监听的端口
netstat -an | grep 9000
原因就是9000端口只监听了127.0.0.0.1 还需要修改监听本地ip
如图
