Hadoop常见问题总结

1.问题

Hadoop状态页面的Browse the filesystem链接无效的问题

http://yymmiinngg.iteye.com/blog/706909 中大概讲了原理

我进行修改如下

　　1.修改/etc/hosts中文件添加主机名字和内网ip的映射。

　　2.将hadoop/conf中的设计到的地址都转变为主机名字，并相应修改masters和slavers

然后就能正常访问，还是不行。

 

2.

启动Hadoop时报了一个警告信息，我安装的Hadoop版本是hadoop1.0.4，具体警告信息如下：

[root@localhost hadoop-1.0.4]# ./bin/start-all.sh
Warning: $HADOOP_HOME is deprecated.

 网上的说法是因为Hadoop本身对HADOOP_HOME做了判断，具体在bin/hadoop和bin/hadoop-config.sh里。在hadoop-config.sh里有如下的配置： 

if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then
  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2
  echo 1>&2
fi

 对于这个警告问题，解决方法如下： 

1.注释掉hadoop-config.sh里的上面给出的这段if fi配置（不推荐）

2.在当前用户home/.bash_profile里增加一个环境变量：

export HADOOP_HOME_WARN_SUPPRESS=1

注：修改完.bash_profile后需要执行source操作使其生效

[root@localhost ~]# source .bash_profile

 执行完后我们可以检验一下配置是否成功，重新执行start-all.sh脚本：

[root@localhost hadoop-1.0.4]# ./bin/start-all.sh
starting namenode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-namenode-localhost.out
localhost: starting datanode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-localhost.out
localhost: starting secondarynamenode, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-localhost.out
starting jobtracker, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-localhost.out
localhost: starting tasktracker, logging to /root/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-localhost.out

 没有出现Warning: $HADOOP_HOME is deprecated，说明问题已经解决。

　　我采用另一种解决方法

　　Hadoop启动时提示的：$HADOOP_HOME is deprecated.
　　不影响功能但是你要是和我一样有洁癖就看着不舒服
　　解决办法:在安装目录下conf下找到hadoop-env.sh然后再里面添加
　　export HADOOP_HOME_WARN_SUPPRESS=”TRUE”从新启动就可以了

 

3.