摘要：
当我们在写MapReduce程序的时候，通常，在main函数里，我们会像下面这样做。建立一个Job对象，设置它的JobName，然后配置输入输出路径，设置我们的Mapper类和Reducer类，设置InputFormat和正确的输出类型等等。然后我们会使用job.waitForCompletion(... 阅读全文
posted @ 2014-04-15 20:15
pei~乐悠悠
阅读(757)
评论(0)
推荐(0)
摘要：
框架简介MapReduce仅仅可以支持Writable做key，value吗？答案是否定的。事实上，一切类型都是支持的，只需满足一个小小的条件：每个类型是以二进制流的形式传输。为此Hadoop提供了一个序列化框架来支持，他们在org.apache.hadoop.io.serializer包中，Wri... 阅读全文
posted @ 2014-04-15 09:30
pei~乐悠悠
阅读(639)
评论(0)
推荐(0)
摘要：
自定义Writablehadoop虽然已经实现了一些非常有用的Writable，而且你可以使用他们的组合做很多事情，但是如果你想构造一些更加复杂的结果，你可以自定义Writable来达到你的目的,我们以注释的方式对自定义Writable进行讲解（不许说我只帖代码占篇幅哦，姿势写在注释里了）：[jav... 阅读全文
posted @ 2014-04-15 09:26
pei~乐悠悠
阅读(384)
评论(0)
推荐(0)
摘要：
java原生类型除char类型以外，所有的原生类型都有对应的Writable类，并且通过get和set方法可以他们的值。IntWritable和LongWritable还有对应的变长VIntWritable和VLongWritable类。固定长度还是变长的选用类似与数据库中的char或者vchar。... 阅读全文
posted @ 2014-04-15 09:22
pei~乐悠悠
阅读(6589)
评论(0)
推荐(0)
摘要：
hadoop的序列化格式hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点，压缩和快速。但是不容易扩展，也不跨语言。我们先来看下Writable接口，Writable接口定义了两个方法：1.将数据写入到二进制流中2.从二进制数据流中读取数据[java]view p... 阅读全文
posted @ 2014-04-15 09:15
pei~乐悠悠
阅读(602)
评论(0)
推荐(0)
浙公网安备 33010602011771号