摘要：Yarn的概述 YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，是 Hadoop2.x 版本中的一个新特性。 Yarn中的角色 Yarn也是主从结构，主要由ResourceManager、NodeManager、 ApplicationMaster和C 阅读全文

摘要：MapReduce案例 1.单词计数--wordcount 首先准备好文件 开始编写程序 2.计算每个人的钱数 文件1 文件2 代码编写 3.求出共同好友 准备文件 编写代码 上面的程序输出的结果 最终结果展示 4.读取JSON数据 5.分区解决数据倾斜 准备一个文件里面一个单词非常多别的很少 5. 阅读全文

摘要：MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决 海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map() 和reduce()两个函数，即可实现分布式计算。这两个函数的形参是key、value对，表 示函数的输入 阅读全文

摘要：一、HDFS中的block、packet、chunk 1.Block 在将文件上传到hdfs之间需要分块，这个块就是block，默认为128MB（hadoop2.X），当然可以更改。通过修改core-default.xml文件修改这个值，它是最大的一个单位。 2.Packet Packet是第二大的 阅读全文

摘要：一.环境支持 操作系统: CentOS7 64 JDK环境: JDK 8 Hadoop环境: hadoop-2.8.0 虚拟机名称: master(主)+slave1(从1)+slave2(从2) CentOS7 64位百度网盘下载地址： 链接：https://pan.baidu.com/s/1dc 阅读全文