2020112201-1

本周主要进行了MapReduce的作业,但是尚无成效。数据量一大双表汇总的MapReduce就会运行很久之后FAIL掉,原因疑似是空间占用过大,但是尚不清楚具体问题出在哪步。

花在学习上:15小时

花在代码上:11小时

花在解决问题上:10小时

本周遇到的问题:

1.如上所述,数据量一大双表汇总的MapReduce就会运行很久之后FAIL掉,原因疑似是空间占用过大,但是尚不清楚具体问题出在哪步

2.Map或Reduce阶段尝试使用System.out进行输出,但是无论是查阅网页的logs还是终端都看不到这两个阶段的实际输出。

posted @ 2020-11-22 11:32  水無月鈴乃  阅读(63)  评论(0编辑  收藏  举报