随笔分类 -  Hadoop

摘要：Hadoop使用ant+ivy组织工程，无法直接导入Eclipse中。本文将介绍如何基于Eclipse搭建Hadoop源码环境。准备工作本文使用的操作系统为CentOS。需要的软件版本：hadoop-1.0.4、jdk-1.6.0_43、ant-1.9.2、eclipse3.6。安装与配置JDK安装Eclipse安装与配置Ant下载Hadoop源码以上工作就不细说了，这些没啥难度，注意要配置好jdk和ant的环境变量。编译源码进入hadoop项目的根目录，在bash中执行ant eclipse。命令行结束之后，就可以向Eclipse中导入工程。导入工程File -> Import -&g 阅读全文

摘要：1.使用eclipse开发mapreduce程序，发现是跑在本地（LocalRunnerJob），而不是集群。解决方法：将程序打成jar包，然后使用hadoop命令行运行。打包用Fat jar这个工具将第三方jar包一起发布，不要勾选One-JAR.错误：Exception in thread "main" java.lang.IllegalArgumentException: Unable to locate com.simontuffs.onejar.Boot in the java.class.path: consider using -Done-jar.jar. p 阅读全文

摘要：安装插件，配置好连接之后 ，点击大象图标，eclipse连不上DFS。通过Error-log分析出错原因是缺少jar包。解决方法是将commons-httpclient-3.0.1.jar,jackson-core-asl-1.0.1.jar,jackson-mapper-asl-1.0.1.jar,commons-configuration-1.6.jar,lcommons-lang-2.4.jar放入hadoop-0.20.203.0-eclipse-plugin的lib下修改hadoop-0.20.203.0-eclipse-plugin/META-INF/MANIFEST.MFBund 阅读全文

摘要：我的开发环境：操作系统centos5.5 一个namenode 两个datanodeHadoop版本：hadoop-0.20.203.0Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷)第一步：先启动hadoop守护进程具体参看：http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html第二步：在eclipse上安装hadoop插件1.复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.2 阅读全文

摘要：环境：CentOs5、hadoop0.20.203、jdk1.6.0_29namenode:centos1(ip:192.168.1.101)datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)配置步骤：（1）配置NameNode和DataNode修改每台机器的/etc/hosts(包括namenode和datanode)127.0.0.1 localhost.localdomain localhost192.168.1.101 centos1192.168.1.103 ... 阅读全文