【Hadoop】集群搭建02-完全分布式系统搭建

01 前期规划

• node01: NameNode
• node02: SecondaryNameNode & DataNode
• node03: DataNode
• node04: DataNode

	NN	SNN	DN	ZK	ZKFC	JNN
node01	*				*	*
node02		*	√	*	*	*
node03			√	*		*
node04			√	*

node02由于之前安装了openjdk，因此需要通过下面两条命令进行删除，并重新安装sunJDK。

rpm -qa | grep java | xargs rpm -e --nodeps
rpm -qa | grep jdk | xargs rpm -e --nodeps

02 ssh 免密钥登陆配置及hadoop配置

• ~/.ssh目录
  使用以下命令生成。

ssh localhost

• 将管理节点node01中的公钥文件发送给其他节点，并在相应的节点上将公钥添加授权

scp id_dsa.pub node02:`pwd`/node01.pub
cat node01.pub  >> authorized_keys

• 在管理节点配置hadoop配置文件，并修改*-env.sh文件的JAVA_HOME目录为绝对路径

vi core-site.xml  # 配置NN 
vi slaves  # 配置DN
vi hdfs-site.xml  # 配置副本数量、SSN

PS：配置完毕后不能直接启动，新搭建的集群环境必须进行格式化操作。

hdfs namenode -format 

start-dfs.sh