博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2012年3月20日

摘要: Written by chenxiaochen32 ,Hadoop Special Interest Group.一个hadoop集群拥有许多并行的计算机,用以存储和处理大规模数据集,分布式系统是向外扩展的,当客户端计算机发送作业到计算云时,计算云将会把任务划分到多个节点进行计算,然后节点将计算结果返回到主节点进行统计,再把结果输送给客户端。这也同时说明了,hadoop编程里面最核心的两个动作是:将任务分解,将结果统计,就是mapping和reducing。不过庆幸的是,hadoop已经帮我们实现了这两种方法,以至于我们可以不用了解数据分解和传输的细节,我们只需要实现mapper类和reduc 阅读全文

posted @ 2012-03-20 13:34 Hadoop-scutmstcSIG 阅读(498) 评论(0) 推荐(0) 编辑