流氓小伙子

摘要： MapReduce的类型 默认的MR作业 默认的MR作业 默认的streaming作业 默认的streaming作业 输入格式 输入分片与记录 以字节为单位的长度，表示分片的大小，用以排序分片，以便优先处理最大的分片，从而最小化作业运行时间 一组存储位置，供MR系统使用一边将map任务尽可能放在分片 阅读全文

摘要： 如果作业很小，就选择和自己在同一个JVM上运行任务，与在一个节点上顺序运行这些任务相比，当application master 判断在新的容器中的分配和运行任务的开销大于并行运行它们的开销时，就会发生这个情况。 哪些是小作业呢？ 小作业就是 小于 10个 mapper 而且只有 1 个 reduce 阅读全文