2011 年 9月 6 日随笔档案 - 阿笨猫

2011年9月6日

摘要： http://www.cnblogs.com/spork/archive/2010/04/11/1709380.html上一篇我们分析了bin/hadoop脚本，知道了提交一个Hadoop作业所需要的基本设置以及真正执行任务提交的类。这一篇我们就来分析这个提交任务的类org.apache.hadoop.util.RunJar，看它内部具体又做了些什么。 RunJar是Hadoop中的一个工具类，结构很简单，只有两个方法：main和unJar。我们从main开始一步步分析。 main首先检查传递参数是否符合要求，然后从第一个传递参数中获取jar包的名字，并试图从jar中包中获取manifest. 阅读全文

posted @ 2011-09-06 22:30 阿笨猫阅读(482) 评论(0) 推荐(0)

Hadoop作业提交分析（一）

摘要： http://www.cnblogs.com/spork/archive/2010/04/07/1706162.htmlCode highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->bin/hadoop jar xxx.jar mainclass args…… 这样的命令，各位玩Hadoop的估计已经调用过NN次了，每次写好一个Project或对Project做修改后，都必须打个Jar包，然后再用上面的命令提交到Hadoop Cluster上去运行，在开发阅读全文

posted @ 2011-09-06 22:08 阿笨猫阅读(948) 评论(0) 推荐(1)

Yahoo! Hadoop Tutorial

摘要：保存一个http://developer.yahoo.com/hadoop/tutorial/index.html 阅读全文

posted @ 2011-09-06 17:13 阿笨猫阅读(470) 评论(0) 推荐(0)