2019年12月31日
《Hadoop权威指南 第4版》 - 第二章：关于MapReduce -一种可用于Hadoop数据处理的编程模型
摘要： 1. 实现一个简单的MapReduce map函数进行准备数据,reduce函数进行处理 引入pom依赖 input.txt 简化后的数据源 MaxTemperatureMapper.java 输入处理 MaxTemperatureReducer.java 输出处理 Main.java MapRed 阅读全文
posted @ 2019-12-31 19:46 山枫叶纷飞 阅读(158) 评论(0) 推荐(0)
《Hadoop权威指南 第4版》 - 第一章：初识Hadoop
摘要： 1. HDFS是Hadoop的文件管理体系, 全称为Hadoop Distribute FileSystem 2. MapReduce适用于处理整个数据集或者大多数数据集 MapReduce的优势 离线计算, 等待较长时间 一个基本的批处理系统 3. YARN (Yet another resour 阅读全文
posted @ 2019-12-31 17:52 山枫叶纷飞 阅读(295) 评论(0) 推荐(0)