随笔分类 -  Hadoop

摘要：本文转自：http://slaytanic.blog.51cto.com/2057708/1101360name value Descriptionhadoop.job.history.locationjob历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location用户历史文件存放位置io.sort.factor30这里处理流合并时的文件排序数，我理解为排序时打开的文件数io.sort.mb600排序所使用的内存数量，单位兆，默认1，我记得是不能超过mapred.child.java.opt设置 阅读全文

摘要：1.查看所有正在运行的Job Hadoop job -list2.根据Id停止某一个Job Hadoop job –kill 阅读全文

摘要：在Job中添加相应的输入类型，例如：job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class); 阅读全文

摘要：数据源A 2B 9C 4D 9Z 42要实现的输出Z 42D 9B 9C 4A 2看字符顺序，其实什么也没有，只是按照后面的数字进行一次倒序排序，实现思路，1利用hadoop自带的排序功能，2.KV互换实现代码public class SVJob { public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { Configuration con... 阅读全文

摘要：出现这个问题的原因是因为namespaceIDs导致的解决方案11. 进入链接不上的从机stop-all.sh关闭hadoop2. 编辑namespaceID，路径是/current/VERSION，把主机的namespaceID粘贴过来3. start-all.sh启动hadoop解决方案21. 停掉群集2. 删除群集的所有东西3. 重新格式化4. 启动 阅读全文