2016年7月10日
《OD学hadoop》第三周0710
摘要： 一、分布式集群安装1. Hadoop模式本地模式、伪分布模式、集群模式datanode 使用的机器上的磁盘，存储空间nodemanager使用的机器上的内存和CPU(计算和分析数据) 2. 搭建环境准备工作（1）克隆虚拟机，达到3台机器，分布式的架构即可重新搭建一个hadoop环境（2）克隆完成后， 阅读全文
posted @ 2016-07-10 21:14 沙漏哟 阅读(170) 评论(0) 推荐(0)
《OD学hadoop》第三周0709
摘要： 一、MapReduce编程模型1. 中心思想： 分而治之2. map(映射)3. 分布式计算模型，处理海量数据4. 一个简单的MR程序需要制定map()、reduce()、input、output5. 处理的数据放在input中、处理的结果放在output中6. MR程序>八股文7. MR在处理数据 阅读全文
posted @ 2016-07-10 21:13 沙漏哟 阅读(169) 评论(0) 推荐(0)