摘要:
英文原文:cloudera,编译:ImportNew–Royce Wong书接上回,继续为大家讲解MapReduce用户编程接口MapReduce – 用户编程接口下面将着重谈下MapReduce框架中用户经常使用的一些接口或类的详细内容。了解这些会极大帮助你实现、配置和优化MR任务。当然javadoc中对每个class或接口都进行了更全面的陈述,这里只是一个指引教程。首先来看下Mapper和Reducer接口,通常MR应用都要实现这两个接口来提供map和reduce方法,这些是MRJob的核心部分。MapperMapper 将输入的kv对映射成中间数据kv对集合。Maps 将输入记录转变为中 阅读全文
posted @ 2013-11-15 01:31
hyyc116
阅读(192)
评论(0)
推荐(0)
摘要:
转载自:http://blog.csdn.net/xhh198781/article/details/7778001一. MapFile文件 前面说过,SequenceFile文件是用来存储key-value数据的,但它并不保证这些存储的key-value是有序的,而MapFile文件则可以看做是存储有序key-value的SequenceFile文件。MapFile文件保证key-value的有序(基于key)是通过每一次写入key-value时的检查机制,这种检查机制其实很简单,就是保证当前正要写入的key-value与上一个刚写入的key-value符合设定的顺序,但是,这种有序是由用户 阅读全文
posted @ 2013-11-15 01:25
hyyc116
阅读(295)
评论(0)
推荐(0)


浙公网安备 33010602011771号