随笔分类 -  hadoop

摘要：编译自己的Hadoop Eclipse插件1.准备和说明 虽然大家现在能下载到各种版本对应的插件，但是自从0.2版本之后hadoop就不提供新版本的插件了，现在看到的插件都是别人编译好的。为什么要这样呢？其实仔细想想这样做确实是个不错的注意，hadoop本身是开源的，经常有人会按自己的需求拿他定制，这样来说每个人的hadoop都是不一样的，所以针对自己的hadoop来编译一个属于自己的插件，这样在eclipse和hadoop的匹配过程中，就不会造成一些奇怪的错误啦。 相信你看这篇文章肯定是要在Eclipse下运行Hadoop了，可以参考我的文章 《在Windos上使用Eclipse进行Had. 阅读全文

摘要：使用eclipse的hadoop开发环境搭建1.准备1.1 完成linux上的hadoop集群安装,并且能够从WIN上远程到linux 如果你还未完成安装集群可以参考我的这篇博文（注意是基于Mesos的） 《基于集群资源管理器Mesos的Hadoop安装教程地址》1.2 在你的本机上也安装好JDK和Eclipse 我本机使用的Java版本是1.7的 JDK1.7官方下载地址 我使用的Eclipse版本是3.62 Eclipse官方下载地址 注意：你使用的Hadoop版本和你使用的Eclipse版本有“十分大的关系” 如果你是按照我前面的教程基于Mesos的Hadoop0.20.... 阅读全文