总访问量: PV

DataScience && DataMining && BigData

摘要: 第一部分 分区简述(比如国家由省市来划分) 分区:map的输出经过partitioner分区进行下一步的reducer。一个分区对应一个reducer,就会使得reducer并行化处理任务。默认为1 1. Partitioner是partitioner的基类,如果需要定制partitioner也需要 阅读全文
posted @ 2017-02-17 14:31 CJZhaoSimons 阅读(839) 评论(0) 推荐(0)
摘要: 第一部分.Hadoop计数器简述 hadoop计数器: 可以让开发人员以全局的视角来审查程序的运行情况以及各项指标,及时做出错误诊断并进行相应处理。 内置计数器(MapReduce相关、文件系统相关和作业调度相关), 也可以通过http://master:50030/jobdetails.jsp查看 阅读全文
posted @ 2017-02-17 10:40 CJZhaoSimons 阅读(1989) 评论(0) 推荐(0)