cac2020

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 找出每个月气温最高的2天 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 什么是pagerank？算法原理-1PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 伪分布式：HDFS和YARN 伪分布式搭建，事先启动HDFS和YARN 第一步：开发WordCount示例 第二步：程序打jar包：M 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 YARN：Yet Another Resource Negotiator 一、Yarn框架 1、概念由于MRv1存在的问题，Hadoo 阅读全文

摘要： 一、概念MapReduce："相同"的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算 块、分片、map、reduce、分组、分区之间对应关系block > split1:1:1个block可以切成1个分片N:1：多个block可以以切成1个分片1:N：1个block可以切成多个 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 拓扑： 知识准备： 1、eclipse在win7本机电脑上，而部署的hadoop可以是在本机windows 也可以是远程Linux 伪 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 由于NameNode对于整个HDFS集群重要性，为避免NameNode单点故障，在集群里创建2个或以上NameNode（不要超过5个） 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop3.1.1 全分布式就是集群，注意配置主机名。 一、平台和软件1、安装JDK和免密登录参考：【Hadoop学习之二】Hadoop伪分布式安装 2、设 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 伪分布式就一台机器：主节点和从节点都在一个机器上，这里我们使用：node1 192.168230.11 一、平台和软件平台：GNU/L 阅读全文

摘要： 一、概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。 二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop 阅读全文