博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

05 2014 档案

Hadoop对文本文件的快速全局排序

摘要：一、背景Hadoop中实现了用于全局排序的InputSampler类和TotalOrderPartitioner类，调用示例是org.apache.hadoop.examples.Sort。但是当我们以Text文件作为输入时，结果并非按Text中的string列排序，而且输出结果是SequenceF... 阅读全文

posted @ 2014-05-14 14:12 Y.Cloud 阅读(5300) 评论(0) 推荐(0)

Mahout踩坑之路

摘要：一、版本对比公司版Mahout由于Mahout只能允许于hadoop0.20以上版本上，而百度的hadoop是hadoop0.19的一个分支。因此百度HPC组曾经将Mahout移植到百度的hadoop集群。Mahout上古版本，只有itembased一种算法，且只能用于百度版hadoop。开源Mah... 阅读全文

posted @ 2014-05-14 13:04 Y.Cloud 阅读(2389) 评论(0) 推荐(0)

Hadoop的partitioner、全排序

摘要：按数值排序示例：按气温字段对天气数据集排序问题：不能将气温视为Text对象并以字典顺序排序正统做法：用顺序文件存储数据，其IntWritable键代表气温，其Text值就是数据行常用简单做法：首先，增加偏移量以消除所有负数；其次，在数字面前加0，使所有数字的长度相等；最后，用字典法排序。stream... 阅读全文

posted @ 2014-05-04 12:50 Y.Cloud 阅读(9354) 评论(0) 推荐(1)

祭奠我的csdn博客

摘要：本人在csdn的博客莫名其妙地被封了（http://blog.csdn.net/fty8788），非常郁闷。回忆起，可能是我近半年由于工作事情忙很少写博客了，被某213盗用发了不恰当的东东。我也查不到是不是发了什么私信、评论，只看到多了几篇莫名其妙的博客。可csdn居然直接封了我的博客，原来的文章一... 阅读全文

posted @ 2014-05-03 23:51 Y.Cloud 阅读(184) 评论(0) 推荐(0)