2012年12月5日
posted @ 2012-12-05 21:14
风生水起
阅读(9484)
推荐(0)
摘要:
Studying Hadoop or MapReduce can be a daunting task if you get your hand dirty at the start.
I followed the schedule as follows :
阅读全文
posted @ 2012-12-05 15:34
风生水起
阅读(316)
推荐(0)
2012年11月28日
摘要:
个性化推荐的成功应用需要两个条件。第一是信息过载,第二是用户大部分时候没有特别明确的需求。
阅读全文
posted @ 2012-11-28 16:40
风生水起
阅读(195)
推荐(0)
2012年11月23日
摘要:
安装Hadoop Eclipse Plugin(见其他网页)。hadoop 0.20.2下eclipse plugin “run on hadoop” 不起作用的解决方法Hadoop Eclipse Plugin默认会以本地文件的方式执行(无法找到hadoop conf目录),这是任务也不能在50030界面下看到。如果想将任务提交到HDFS文件系统,需要将hadoop的conf目录加入到项目的class path,同时需要将项目的输出目录加入到hadoop的classpath中。
阅读全文
posted @ 2012-11-23 14:49
风生水起
阅读(369)
推荐(0)
2012年11月22日
摘要:
hadoop 0.20.2下eclipse plugin “run on hadoop” 不起作用的解决方法
阅读全文
posted @ 2012-11-22 16:40
风生水起
阅读(1375)
推荐(1)
摘要:
Window下我们使用TortoiseSVN,可以很方便地进行查看、比较、更新、提交、回滚等SVN版本控制操作。在Linux下,我们可以使用rapidsvn。
阅读全文
posted @ 2012-11-22 11:14
风生水起
阅读(18821)
推荐(0)
2012年11月21日
posted @ 2012-11-21 19:49
风生水起
阅读(4114)
推荐(0)
2012年11月20日
摘要:
Hadoop实战第四章--读书笔记
阅读全文
posted @ 2012-11-20 18:08
风生水起
阅读(1333)
推荐(0)
2012年11月16日
摘要:
当前问题:input file 如何split?与inputformat有什么关系?多个reduce输出多个文件,这多个文件如何在HDFS中存储,每个输出文件作为HDFS中的文件吗?会不会太小了?HIVE执行结果是返回一个文件,是HIVE自己把文件合并的吗?map-reduce如何确定map和reduce任务的个数的?根据输入文件的大小?map执行完之后的临时文件是写在本地还是写到特定的服务器上?今天在看inputformat这块,目前对于输入文件的split部分还没有理清楚,很多代码不知道具体作用,看来需要架起环境来单步调试一下。
阅读全文
posted @ 2012-11-16 17:53
风生水起
阅读(345)
推荐(0)
posted @ 2012-11-16 11:24
风生水起
阅读(6874)
推荐(0)