摘要: 1.WordCount程序任务 输入:一个包含大量单词的文本文件 输出:文件中没个单词及出现的次数(频数),并按照单词顺序排序每个单词和其频数占一行,单词和频数之间有间隔 2.WordCount程序设计思路 WordCount可以使用MapReduce去做 在/usr/local/目录下创建Word 阅读全文
posted @ 2020-05-13 19:00 琴昕LNS~ 阅读(409) 评论(0) 推荐(0) 编辑
摘要: 1 MapReduce概述 MapReduce是一种分布式并行编程框架,由Google提出,主要用于搜索领域,解决 海量数据的计算问题。 2.MapReduce数据处理能力提升的两条路线: 2.1单核cpu到双核到四核到八核 2.2分布式并行编程 2.2.1借助一个集群通过多台机器同时并行处理大规模 阅读全文
posted @ 2020-05-13 15:59 琴昕LNS~ 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 1.创建maven项目 2.引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.0</version> </dependency> <de 阅读全文
posted @ 2020-05-13 12:11 琴昕LNS~ 阅读(534) 评论(0) 推荐(0) 编辑