2023年11月29日
五、搭建高可用集群
摘要： 一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export 阅读全文
posted @ 2023-11-29 11:05 SIKeborn 阅读(32) 评论(0) 推荐(0)
四、Hadoop-HA 与 Hadoop-federation
摘要： 一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 ​ b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 ​ c. 如果发生 阅读全文
posted @ 2023-11-29 10:38 SIKeborn 阅读(105) 评论(0) 推荐(0)
三、HDFS的读写流程
摘要： 一、写数据（宏观） 写数据就是将客户端上的数据上传到HDFS 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这个文件,或 阅读全文
posted @ 2023-11-29 10:19 SIKeborn 阅读(69) 评论(0) 推荐(0)
二、Hadoop集群搭建与学习
摘要： Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc 阅读全文
posted @ 2023-11-29 09:03 SIKeborn 阅读(102) 评论(0) 推荐(0)