Hadoop常见问题及解决方法

1. This script is Deprecated

2. no namenode to stop错误

于2011-6-5上午,最后更新... 

1. This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh starting namenode, logging to /home/xuqiang/hadoop/src/hadoop-0.21.0/bin/../logs/hadoop-root-namenode-ubuntu.out

由于hadoop采用的是master/slave的模式,那么我们必须定义一种方式来使得master来等狗控制所谓的slave节点,haddop采用的是ssh来实现,这里主要使用到的就是RSA的技术,首先生成一个公钥和密钥,公钥是存储在集群cluster上的每个机器上的,如果master想要和slave交互的话,那么master将密钥发送到目标机器上,目标机器上使用这个密钥来验证登录的正确性。

下面是创建密钥的过程:具体过程

Setup passphraseless ssh
Now check that you can ssh to the localhost without a passphrase:
$ ssh localhost
If you cannot ssh to localhost without a passphrase, execute the following commands:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

 

2.  no namenode to stop错误

这个错误出现的原因主要是文件系统中的元数据丢失的原因,简单的方法可以重新format一下:

xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop namenode -format

posted @ 2011-05-10 20:52  qiang.xu  阅读(9118)  评论(0编辑  收藏  举报