摘要: 2. MapReduce 简介 MapReduce 实际上是分为两个过程 1. map 过程 : 数据的读取 2. reduce 过程 : 数据的计算 并行计算是一个非常复杂的过程, mapreduce是一个并行框架。 在Hadoop中,每个MapReduce任务都被初始化为一个Job,每个Job又 阅读全文
posted @ 2016-04-13 21:23 sld666666 阅读(198) 评论(0) 推荐(0) 编辑
摘要: linux hadoop安装 本文介绍如何在Linux下安装伪分布式的hadoop开发环境。 在一开始想利用cgywin在 windows下在哪, 但是一直卡在ssh的安装上。所以最后换位虚拟机+ubuntu安装。 选择的版本是hadoop 2.7.2 安装步骤虽然简单,但是中间遇到的小问题还是比较 阅读全文
posted @ 2016-04-13 16:55 sld666666 阅读(446) 评论(0) 推荐(0) 编辑