会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Relieved.U
博客园
首页
新随笔
联系
订阅
管理
[置顶]
MapReduce的输入输出过程数据类型对应过程
摘要: 话说用hadoop MapReduce编程有一阵子了,但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。我本以为Combiner的输入与Mapper的输出一致,Combiner的输出与Reducer的输入一致就可以了,就像图1:图1 假想我的程序Mapper输...
阅读全文
posted @ 2014-05-12 11:09 Relieved.U
阅读(366)
评论(0)
推荐(0)
[置顶]
MapReduce_去重抽取mdn_imsi
摘要: import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import...
阅读全文
posted @ 2014-05-11 20:28 Relieved.U
阅读(241)
评论(0)
推荐(0)
2014年5月11日
MapReduce入门实例
摘要: Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数...
阅读全文
posted @ 2014-05-11 15:01 Relieved.U
阅读(261)
评论(0)
推荐(0)
公告
昵称:
Relieved.U
园龄:
11年1个月
粉丝:
0
关注:
3
+加关注
<
2025年7月
>
日
一
二
三
四
五
六
29
30
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
Hadoop_MapReduce(3)
随笔档案
2014年5月(3)
阅读排行榜
1. MapReduce的输入输出过程数据类型对应过程(366)
2. MapReduce入门实例(261)
3. MapReduce_去重抽取mdn_imsi(241)
点击右上角即可分享