win7+Cygwin+hadoop1.0.3 安装配置和使用

一. 所用到的包

二. win7下安装Cygwin和hadoop

  1. Cygwin安装就不赘序了,安装的时候严格按照这个帖子来做就行: http://blog.csdn.net/liu_jason/article/details/7705484 。
  2. hadoop配置: Cygwin按照帖子我安装到C盘根目录了,以获取最大的操作权限,免得使用Cygwin的时候碰到赋权限问题。具体配置参考这篇帖子:http://blog.csdn.net/liu_jason/article/details/7705484。hadoop的规划目录我放到了Cygwin的安装根目录下,这么做的原因是通过Cygwin操作hadoop会遇到访问window文件夹权限而报错的问题,导致hadoop启动异常,按我的方式来做可以规避这个问题。该问题放两个帖子:帖子1:http://www.dataguru.cn/thread-128744-1-1.html ; 帖子2:https://github.com/congainc/patchhadoop_7682-1.0.x-win 。
  3. hadoop启动时看下hadoop1.0.3目录下的logs日志,若日志无异常说明hadoop配置成功!测试帖: http://blog.csdn.net/liu_jason/article/details/7707458。
  4. Cygwin + hadoop + eclipse:前3步安装配置完,接下来把hadoop配置到eclipse,具体参见:http://blog.csdn.net/antgan/article/details/52068161;http://www.cnblogs.com/edisonchou/p/4297521.html

三. win7下使用hadoop(不使用Cygwin)

        方法帖:http://blog.csdn.net/antgan/article/details/52068161

说明下:配置安装都是按照上面找到的帖子来配置的,帖子里都写得非常清楚,所以就没必要重新写。Cygwin的安装很简单,问题主要出现在使用hadoop的过程 中,比如启动hadoop时namenode节点启动失败(检测hadoop配置时的配置文件),native-hadoop-lib无法加载(原生hadoop包都是32位,如果系统是 64位的得重新编译hadoop包为64位),namenode找不到(hadoop启动之前多次格式化导致的)

待续。。。。

    

 

 

 

posted @ 2017-08-18 11:39  再别康桥  阅读(223)  评论(0)    收藏  举报