安装Hadoop，常见错误及解决办法

1.查看日志找出错原因

如果未做配置文件修改，日志文件会放在 Hadoop目录的 logs目录下，如：

  1. [hadoop@single-hadoop-dajiangtai-com hadoop-2.2.0-x64]$ ls -l logs
  2. total 552
  3. -rw-rw-r--. 1 hadoop hadoop 61784 Jan 17 01:25 hadoop-hadoop-datanode-single-hadoop-dajiangtai-com.log
  4. -rw-rw-r--. 1 hadoop hadoop 717 Jan 17 01:07 hadoop-hadoop-datanode-single-hadoop-dajiangtai-com.out
  5. -rw-rw-r--. 1 hadoop hadoop 717 Jan 16 23:31 hadoop-hadoop-datanode-single-hadoop-dajiangtai-com.out.1
  6. -rw-rw-r--. 1 hadoop hadoop 105603 Jan 17 02:08 hadoop-hadoop-namenode-single-hadoop-dajiangtai-com.log
  7. -rw-rw-r--. 1 hadoop hadoop 717 Jan 17 01:07 hadoop-hadoop-namenode-single-hadoop-dajiangtai-com.out
  8. -rw-rw-r--. 1 hadoop hadoop 717 Jan 16 23:31 hadoop-hadoop-namenode-single-hadoop-dajiangtai-com.out.1
  9. -rw-rw-r--. 1 hadoop hadoop 717 Jan 16 23:22 hadoop-hadoop-namenode-single-hadoop-dajiangtai-com.out.2
  10. -rw-rw-r--. 1 hadoop hadoop 89210 Jan 17 02:08 hadoop-hadoop-secondarynamenode-single-hadoop-dajiangtai-com.log
  11. -rw-rw-r--. 1 hadoop hadoop 717 Jan 17 01:07 hadoop-hadoop-secondarynamenode-single-hadoop-dajiangtai-com.out
  12. -rw-rw-r--. 1 hadoop hadoop 717 Jan 16 23:32 hadoop-hadoop-secondarynamenode-single-hadoop-dajiangtai-com.out.1
  13. -rw-rw-r--. 1 hadoop hadoop 19180 Jan 16 23:30 hadoop-hadoop-secondarynamenode-single-hadoop-dajiangtai-com.out.2
  14. -rw-rw-r--. 1 hadoop hadoop 0 Jan 7 23:56 SecurityAuth-hadoop.audit
  15. drwxr-xr-x. 3 hadoop hadoop 4096 Jan 17 00:09 userlogs
  16. -rw-rw-r--. 1 hadoop hadoop 90944 Jan 17 01:07 yarn-hadoop-nodemanager-single-hadoop-dajiangtai-com.log
  17. -rw-rw-r--. 1 hadoop hadoop 701 Jan 17 01:07 yarn-hadoop-nodemanager-single-hadoop-dajiangtai-com.out
  18. -rw-rw-r--. 1 hadoop hadoop 701 Jan 16 23:32 yarn-hadoop-nodemanager-single-hadoop-dajiangtai-com.out.1
  19. -rw-rw-r--. 1 hadoop hadoop 111116 Jan 17 01:07 yarn-hadoop-resourcemanager-single-hadoop-dajiangtai-com.log
  20. -rw-rw-r--. 1 hadoop hadoop 701 Jan 17 01:07 yarn-hadoop-resourcemanager-single-hadoop-dajiangtai-com.out
  21. -rw-rw-r--. 1 hadoop hadoop 701 Jan 16 23:32 yarn-hadoop-resourcemanager-single-hadoop-dajiangtai-com.out.1
  22. -rw-rw-r--. 1 hadoop hadoop 701 Jan 16 23:27 yarn-hadoop-resourcemanager-single-hadoop-dajiangtai-com.out.2
  23.         

执行jps命令哪个守护进程有问题，可以查看相应的日志文件，然后做针对性的处理。

比如namenode启动错误，可以：cat hadoop-hadoop-namenode-single-hadoop-dajiangtai-com.log。

 

小讲的独门捷径，千呼万唤始出来

捷径1：如果你不想在环境方面费太多时间而快速进入Hadoop开发技能的学习；或者你被各种各样的错误折腾得焦头烂额...你可以直接下载使用小讲为你配好的虚拟机。

1）下载，文件比较大，建议用下载工具下载。

64位系统：Hadoop伪分布vmware虚拟机CentOS6.5_64位，共三个文件，总大小约1075M， 下载part1   下载part2   下载part3 。

32位系统：Hadoop伪分布vmware虚拟机CentOS6.5_32位，共两个文件，总大小约430M， 下载part1   下载part2 。

2）下载后解压到Windows的某个磁盘（剩余空间20G以上）

3）在vmware中打开刚下载的虚拟机,启动的时候看到提示询问来源，选择拷贝的

4）虚拟机启动后，通过账户:root，密码:dajiangtai.com 进入系统。

5）修改IP：[root@single-hadoop-dajiangtai-com ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. DEVICE="eth0"
  2. BOOTPROTO="static"        ----设置为static
  3. HWADDR="00:0C:29:0B:A9:4C"        ----填写虚拟机物理地址
  4. NM_CONTROLLED="yes"
  5. ONBOOT="yes"
  6. IPADDR=192.168.1.123            ----填写固定 ip    
  7. BCAST=192.168.1.255            ----填写广播
  8. NETMASK=192.168.1.0            ----填写掩码
  9. GATEWAY=192.168.1.1            ----填写网关
  10. TYPE="Ethernet"

根据你的网络情况修改IPADDR，BCAST，NETMASK，GATEWAY几项。

根据你的虚拟机MAC地址修改HWADDR。不知道如何看MAC地址，请看这里。

6）修改host，修改IP：[root@single-hadoop-dajiangtai-com ~]# vi /etc/hosts，文件末尾添加以下类容。

  1. 192.168.1.123 single-hadoop-dajiangtai-com
  2. 192.168.1.123 single.hadoop.dajiangtai.com

将IP192.168.1.123改成你设置的IP。

7）删除网卡相关信息

  1. [root@single-hadoop-dajiangtai-com ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules

8）重启系统，确认网络已经连通。

9）从本课件12步开始测试一下Hadoop是否能正常启动并使用。

捷径2：如果你的硬件条件不足，没法跑linux虚拟机也不用就此放弃，小讲还有更贴心的准备，直接用大讲台为你配好的运行环境吧。只要你配置好后面安排的Eclipse开发环境搭建任务，后期学习任务一样进行。

暂且复习一下这整个配置过程，在心中留个印象吧。接下来，我们要开始新的征程！

posted @ 2015-10-13 17:39  R142857  阅读(541)  评论(0)    收藏  举报