随笔分类 -  Hadoop 课程笔记

课程整理
Haoop MapReduce 的Partition和reduce端的二次排序
摘要：先贴一张原理图(摘自hadoop权威指南第三版) 实际中看了半天还是不太理解其中的Partition,和reduce端的二次排序,最终根据实验来结果来验证自己的理解 1eg 数据如下 2014010114 标识20140101日的温度为14度,需求为统计每年温度的最最高值 2014010114 20 阅读全文

posted @ 2016-11-03 15:28 李乐已存在 阅读(188) 评论(0) 推荐(0)

Hadoop 笔记1 (原理和HDFS分布式搭建)
摘要：1. hadoop 是什么 以及解决的问题 (自行百度) 2.基本概念的讲解 1. NodeName master 节点(NN) 主节点 保存了metaData(元数据信息) 包括文件的owener和permission ,文件包换哪些block,block保存在哪个DataNode NameNod 阅读全文

posted @ 2016-10-26 16:01 李乐已存在 阅读(157) 评论(0) 推荐(0)

AmazingCounters.com