win7+Cygwin+hadoop1.0.3 安装配置和使用
一. 所用到的包
- Cygwin: http://cygwin.com/install.html 根据系统的位数下载对应的版本。
- hadoop: http://archive.apache.org/dist/hadoop/core/ 选择所需版本
二. win7下安装Cygwin和hadoop
- Cygwin安装就不赘序了,安装的时候严格按照这个帖子来做就行: http://blog.csdn.net/liu_jason/article/details/7705484 。
- hadoop配置: Cygwin按照帖子我安装到C盘根目录了,以获取最大的操作权限,免得使用Cygwin的时候碰到赋权限问题。具体配置参考这篇帖子:http://blog.csdn.net/liu_jason/article/details/7705484。hadoop的规划目录我放到了Cygwin的安装根目录下,这么做的原因是通过Cygwin操作hadoop会遇到访问window文件夹权限而报错的问题,导致hadoop启动异常,按我的方式来做可以规避这个问题。该问题放两个帖子:帖子1:http://www.dataguru.cn/thread-128744-1-1.html ; 帖子2:https://github.com/congainc/patchhadoop_7682-1.0.x-win 。
- hadoop启动时看下hadoop1.0.3目录下的logs日志,若日志无异常说明hadoop配置成功!测试帖: http://blog.csdn.net/liu_jason/article/details/7707458。
- Cygwin + hadoop + eclipse:前3步安装配置完,接下来把hadoop配置到eclipse,具体参见:http://blog.csdn.net/antgan/article/details/52068161;http://www.cnblogs.com/edisonchou/p/4297521.html
三. win7下使用hadoop(不使用Cygwin)
方法帖:http://blog.csdn.net/antgan/article/details/52068161
说明下:配置安装都是按照上面找到的帖子来配置的,帖子里都写得非常清楚,所以就没必要重新写。Cygwin的安装很简单,问题主要出现在使用hadoop的过程 中,比如启动hadoop时namenode节点启动失败(检测hadoop配置时的配置文件),native-hadoop-lib无法加载(原生hadoop包都是32位,如果系统是 64位的得重新编译hadoop包为64位),namenode找不到(hadoop启动之前多次格式化导致的)
待续。。。。

浙公网安备 33010602011771号