摘要：hadoop1.1.1版本，安装完之后敲入hadoop命令时，老是提示这个警告：Warning:$HADOOP_HOMEisdeprecated.经查hadoop-1.0.3/bin/hadoop脚本和hadoop-config.sh脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的环境根本不需要设置HADOOP_HOME环境变量。参考文章：HADOOP-7398解决方案一：到HOME目录编辑.bash_profile文件，去掉HADOOP_HOME的变量设定，重新输入hadoopfs命令，警告消失。//按此操作后其实还有 = =！解决方案二：到HOME目录编辑.bash_ 阅读全文

摘要：恩，之所以有这篇博客，是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop，其实我自己不这么混搭的，既然有童鞋这么问了，那我就索性随着折腾一把了。首先说明几点：远程调试对于本地hadoop版本、远程hadoop版本、eclipse版本都有极为严格的兼容性要求，我所采用的版本如下：（1）本地hadoop：0.20.203（如果客户端和服务端hadoop版本不匹配可能会有协议错误）（2）远程hadoop：0.20.203（因为各个版本的ipc协议都有变化）下载地址：http://archive.apache.org/dist/hadoop/c 阅读全文

摘要：最近在研究hadoop时，发现hadoop的版本很混乱。原来的版本都说0.X.X开始，后来发现有1.X.X和2.X.X 这样就不太清楚了。0.20.2版本以前（不含该版本）的配置文件都在default.xml中。0.20.x以后的版本不含有eclipse插件的jar包，由于eclipse的版本不一，所以就需要自己编译源码生成对应的插件。0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml、conf/hdfs-site.xml 和conf/mapred-site.xml. 中。0.23.x 版本有添加了yarn技术，配置文件集中在 conf/core-site.x 阅读全文