文章分类 -  BigData

Curator框架的使用
只有注册用户登录后才能阅读该文。
posted @ 2018-08-08 16:38 知为谁开 阅读(5) 评论(0) 推荐(0)
MapReduce学习
摘要：一、MapReduce简介 1.1MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，其执行流程如图1。这两个函 阅读全文
posted @ 2017-01-17 17:26 知为谁开 阅读(197) 评论(0) 推荐(0)
HDFS 核心原理
摘要：HDFS（Hadoop Distribute File System）是一个分布式文件系统文件系统是操作系统提供的磁盘空间管理服务，只需要我们指定把文件放到哪儿，从哪个路径读取文件句可以了，不用关心文件在磁盘上是如何存放的当文件所需空间大于本机磁盘空间时，如何处理呢？一是加磁盘，但加到一定程度就有限 阅读全文
posted @ 2017-01-17 16:07 知为谁开 阅读(101) 评论(0) 推荐(0)