床上小老虎

摘要： 构建job之前的检查 JobTracker会检查输入路径是否存在 会检查输出路径是否不存在，如果存在则报错创建job->放入内部队列->调度器初始化job (创建一个运行的job任务，封装了任务和记录信息) 阅读全文

摘要： 优化方法 数据输入 1. 合并小文件 ，减少map任务数量 2.采用 combine inputformat作为输入，减少map端小文件数量 3.减少 spill次数 ，增大内存触发条件 4.减少merge次数 5.combine处理 6.合理处理 map和 reduce的次数 7.设置map和re 阅读全文