waynelin

导航

2016年8月12日 #

MapReduce几个简单的例子

摘要： 文件合并和去重： 可以把每一行文本作为key，value为随意值。 数字排序： MapReduce过程中就有排序，它是按照key值进行排序的，如果key为封装int的IntWritable类型，那么MapReduce按照数字大小对key排序，如果key为封装为String的Text类型，那么MapR 阅读全文

posted @ 2016-08-12 16:27 维尼林 阅读(529) 评论(1) 推荐(0)

Hadoop中HDFS的管理

摘要： 本文讲述怎么在Linux Shell中对HDFS进行操作。 三种命令格式： hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统 hadoop dfs只能适用于HDFS文件系统 hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统 创建文件夹( 阅读全文

posted @ 2016-08-12 09:50 维尼林 阅读(292) 评论(1) 推荐(1)