随笔分类 -  Hadoop

Hadoop入门
摘要：1、Hadoop的优势（4高） 2、Hadoop组成（面试重点） 2.1、HDFS（Hadoop Distributed File System）架构概述 2.2、YARN架构概述 2.3、MapReduce架构概述 MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示 阅读全文
posted @ 2020-10-27 09:02 一只小羊 阅读(135) 评论(0) 推荐(0)
分布式HDFS的安装和启动（二）
摘要：一、分布式HDFS的安装和启动①在$HADOOP_HOME/etc/hadoop/core-site.xml文件<property> <name>fs.defaultFS</name> <!-- 告知NN在哪个机器，NN使用哪个端口号接收客户端和DN的RPC请求. --> <value>hdfs:/ 阅读全文
posted @ 2020-10-20 20:50 一只小羊 阅读(208) 评论(0) 推荐(0)
Hadoop的安装配置（一）
摘要：一、Hadoop的安装①Hadoop运行的前提是本机已经安装了JDK，配置JAVA_HOME变量②在Hadoop中启动多种不同类型的进程 例如NN,DN，RM,NM，这些进程需要进行通信！ 在通信时，常用主机名进行通信！ 在192.168.6.100机器上的DN进程，希望访问192.168.6.10 阅读全文
posted @ 2020-10-16 12:41 一只小羊 阅读(224) 评论(0) 推荐(0)
Hadoop高可用
摘要：1.先实现node2免密登录node1 在node2下执行：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat id_dsa.pub >> authorized_keys scp id_dsa.pub node1:`pwd`/node2.pub 在node1下执 阅读全文
posted @ 2020-04-06 18:01 一只小羊 阅读(274) 评论(0) 推荐(0)
Hadoop全分布式
摘要：1.安装jdk Linux下安装jdk-7u67-linux-x64.rpm 2.免密登录 ssl免密登录（centos6） 3.同步时间：date -s "2020-04-05 12:00:00" 4.配置Hadoop 在Hadoop伪分布式安装的基础上修改配置 4.1.在Hadoop伪分布式安装 阅读全文
posted @ 2020-04-05 20:45 一只小羊 阅读(212) 评论(0) 推荐(0)
Hadoop伪分布式安装
摘要：1.安装jdk Linux下安装jdk-7u67-linux-x64.rpm 2.免密登录 ssl免密登录（centos6） 3.安装Hadoop tar zxvf hadoop-2.6.5.tar.gz - C /opt/sxt 4.修改Hadoop配置 4.1.配置环境变量 执行vi + /et 阅读全文
posted @ 2020-04-04 22:51 一只小羊 阅读(324) 评论(0) 推荐(0)