2019年1月28日
HDFS要点剖析
摘要： 谈到大数据，不得不提的一个名词是“HDFS”。它是一种分布式文件存储系统，其系统架构图如下图所示：从图中可以了解到的几个关键概念元数据（MetaData）机架（Rock）块（Block）从图中可以了解到的两个重要组件：NameNodeDataNode需要了解... 阅读全文
posted @ 2019-01-28 22:30 卅先生 阅读(201) 评论(0) 推荐(0)
MapReduce详解和WordCount模拟
摘要： 最早接触大数据，常萦绕耳边的一个词「MapReduce」。它到底是什么，能做什么，原理又是什么？且听下文讲解。是什么MapReduce 即是一个编程模型，又是一个计算框架，它充分采用了分治的思想，将数据处理过程拆分成两步：Map 和 Reduce。用户只需要... 阅读全文
posted @ 2019-01-28 11:24 卅先生 阅读(331) 评论(0) 推荐(0)