2016年12月2日
MapReduce设置输出分隔符
摘要： 默认是tab 阅读全文
posted @ 2016-12-02 23:57 加拿大小哥哥 阅读(959) 评论(0) 推荐(1) 编辑
MapReduce实现数据去重
摘要： 一、原理分析 Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样 阅读全文
posted @ 2016-12-02 23:53 加拿大小哥哥 阅读(3807) 评论(0) 推荐(0) 编辑
MapReduce实现协同过滤中每个用户看过的项目集合
摘要： 一、知识准备 hadoop自带的例子在 D:\HADOOP_HOME\hadoop-2.6.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples 2.6.0-source.jar 我记得当年面试的时候就问中位数的问题不过是数据流下的中位 阅读全文
posted @ 2016-12-02 22:08 加拿大小哥哥 阅读(1044) 评论(0) 推荐(0) 编辑
启动Hadoop HA Hbase zookeeper spark
摘要： 服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave2 StandByNameNode NameNode Yes Yes DataNode Yes Ye 阅读全文
posted @ 2016-12-02 19:39 加拿大小哥哥 阅读(1869) 评论(0) 推荐(0) 编辑