MapReduce常见问题

mapper和reducer使用时工作吗?
mapper结束了reducdder才能运行

如果有个mapper或者reducer挂了怎么办?
重新分配一台机器

如果reducer的一个机器的Key特别大怎么办?
加一个random后缀 类似shard key

input和output存放在哪里?
存放在GFS中

Mapper和reducer可以放在同一台机器上吗?
这样实际不是特别好 因为map和reduce之前都有许多要预处理的工作 两台机器可以并行预处理。

posted @ 2020-10-25 23:08  EvanMeetTheWorld  阅读(26)  评论(0)    收藏  举报