hadoop - 随笔分类 - 无尽的缥缈

转：HDFS运行原理

摘要：简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失阅读全文

posted @ 2017-05-17 17:55 无尽的缥缈阅读(168) 评论(0) 推荐(0)

mapreduce工作原理

摘要：转一篇http://weixiaolu.iteye.com/blog/1474172 正文： 1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：流程分析： 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件阅读全文

posted @ 2017-01-20 11:29 无尽的缥缈阅读(243) 评论(0) 推荐(0)

Hadoop之入门

摘要：随着大数据的来临，hadoop应用而生，hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。hadoop的历史始于2002年的apache项目Nutch2003年Google发表了关于GFS的论文2004年Nutch的开发者开发了NDFS2004年Google发表了关于MapReduce的论文2005年MapR被引入了NDFS2006年改名为Hadoop，NDFS的创始人加入Yahoo，Yahoo成立了一个专门的小组发展Hadoophadoop解决的问题海量数据的存储 -- HDFS海量数据的阅读全文

posted @ 2013-01-20 14:31 无尽的缥缈阅读(433) 评论(0) 推荐(0)

随笔分类 - hadoop