摘要：
1、防火墙 service firewalld stop2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 20180503 3、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-co 阅读全文
posted @ 2022-08-24 15:58
~小小~
阅读(54)
评论(0)
推荐(0)
摘要：
一、搭建高可用集群 1.1 zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper- 阅读全文
posted @ 2022-08-24 15:55
~小小~
阅读(61)
评论(0)
推荐(0)
摘要：
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生意外事件（ 阅读全文
posted @ 2022-08-24 15:53
~小小~
阅读(83)
评论(0)
推荐(0)
摘要：
一、写数据 写数据就是将客户端上的数据上传到HDFS 1.1 宏观过程 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这 阅读全文
posted @ 2022-08-24 15:42
~小小~
阅读(163)
评论(0)
推荐(0)
摘要：
进程理解 HDFS相关（NN,DN,SSN） NameNode(NN) 功能： 1、接受客户端的读/写服务 因为NameNode知道数据文件与DataNode的对应关系 2、保存文件的时候会保存文件的元数据信息 a. 文件的归属 b. 文件的权限 c. 文件的大小，时间 d. Block信息，但是b 阅读全文
posted @ 2022-08-24 15:26
~小小~
阅读(94)
评论(0)
推荐(0)
摘要：
一、搭建Hadoop集群 NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息 DataNode：真实数据存储的地方（block） SecondaryNameNode：做持久化的时候用到 进程master（主）node1（从）node2（从） NameNod 阅读全文
posted @ 2022-08-24 15:00
~小小~
阅读(140)
评论(0)
推荐(0)
浙公网安备 33010602011771号