摘要：
老mr程序中map中conf的map.input.file参数只能获取获取CombineTextInputFormat的第一个输入文件，而新版mr程序则连第一个输入文件也无法获取，这是因为createRecordReader中的TaskAttemptContext context参数与map中的co
阅读全文
posted @ 2016-03-11 11:58
joco
阅读(777)
推荐(0)
摘要：
1. 像map_input_file这种环境变量是在hadoop-streaming.jar程序中设置的，所以无需-cmdenv map_input_file参数就可以在php中直接引用，如$var=getenv('mapred_input_dir'); 2. 所有jobconf参数都可以通过环境变
阅读全文
posted @ 2016-03-11 11:46
joco
阅读(954)
推荐(0)
摘要：
RE: 焦诚 ~ 日报 - 由 焦 诚 在 5 个月 之前添加 2015-10-131.利用计算平台统计2015-09-28 => 2015-10-11 共14天的spe_num=502306的云查杀日志，1天的结果在10万条-20万+条不等，两周的结果在200万条左右。由于结果数据量较大，暂时无法
阅读全文
posted @ 2016-03-11 11:16
joco
阅读(381)
推荐(0)
浙公网安备 33010602011771号
浙ICP备2021040463号-3
