reck for zhou - 博客园

2012年3月24日

再见了Hadoop MapReduce

摘要：再见MapReduce，欢迎Cascading的到来我们最近作了大量的hadoop MapReduce处理，并且我们很快意识到手动编写MapReduce代码是多么痛苦的一件事情。在一些场景应用中我们的流程需要多达10个MapReduce作业的顺序执行，需要手动协调多个作业的中间数据和执行顺序。此外，任何有做过MapReduce工作流的人都知道基于MapReduce的思维是一件多么困难的事情。幸运的是，我们发现了新发现了一个名为Cascading伟大的开源项目，使用它能够减少我们的痛苦。Cascading是一个Chris Wensel先生智慧的产物，Chris Wensel先生作了很多优秀的开发阅读全文

posted @ 2012-03-24 10:03 reck for zhou 阅读(888) 评论(0) 推荐(2)

Hive Meta Table介绍

摘要： HIVE Meta数据表介绍阅读全文

posted @ 2012-03-24 08:25 reck for zhou 阅读(764) 评论(0) 推荐(0)

hive meta sql

摘要： Hive是一个在HADOOP平台进行大规模分布式数据分析的工具，有点类似数据仓库工具。 Hive Meta信息一般存储在关系型数据库中，用于存储hive表的结构，字段，partition等信息。阅读全文

posted @ 2012-03-24 08:24 reck for zhou 阅读(704) 评论(0) 推荐(0)

2012年3月22日

hadoop Namenode和DataNode架构分析

摘要： hadoop HDFS架构阅读全文

posted @ 2012-03-22 21:33 reck for zhou 阅读(1382) 评论(0) 推荐(0)

HBase介绍

摘要： hbase场景介绍阅读全文

posted @ 2012-03-22 17:40 reck for zhou 阅读(3206) 评论(1) 推荐(1)

Lucene自定义分词算法实现

摘要： lucene分词介绍阅读全文

posted @ 2012-03-22 16:44 reck for zhou 阅读(2317) 评论(1) 推荐(0)

利用mrunit进行hadoop map/reduce单元测试

摘要： hadoop map/reduce单元测试阅读全文

posted @ 2012-03-22 08:36 reck for zhou 阅读(961) 评论(1) 推荐(0)

hadoop shell命令远程提交

摘要： hadoop shell命令远程提交机制的实现阅读全文

posted @ 2012-03-22 08:26 reck for zhou 阅读(1020) 评论(0) 推荐(0)

2012年3月21日

hadoop安装部署

摘要： hadoop 安装和部署阅读全文

posted @ 2012-03-21 14:02 reck for zhou 阅读(2340) 评论(4) 推荐(1)

vaidya安装和应用

摘要： vaidya安装和应用，针对hadoop map/reduce优化应用阅读全文

posted @ 2012-03-21 11:48 reck for zhou 阅读(1012) 评论(0) 推荐(0)

导航