02 2020 档案

hdfs的客户端读写流程以及namenode,secondarynamenode,checkpoint原理
摘要：一、客户端写入数据 1、客户端向NameNode发送上传文件的请求。 2、NameNode检查目录（这个文件是否已经存在），若已存在，返回错误，不存在，则继续。 3、NameNode给客户端发送可以上传的信息。 4、客户端再次向NameNode发送上传请求。 5、NameNode检查节点DataNo 阅读全文
posted @ 2020-02-29 16:52 羊想蓝天 阅读(570) 评论(1) 推荐(0)
hadoop的扩容
摘要：一、横向扩容(参见：https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1、克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IP 阅读全文
posted @ 2020-02-26 16:01 羊想蓝天 阅读(713) 评论(0) 推荐(0)
hadoop完全分布式部署
摘要：hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ 阅读全文
posted @ 2020-02-25 16:56 羊想蓝天 阅读(497) 评论(0) 推荐(0)
HDFS核心类FileSystem的使用
摘要：一、导入jar包 本次使用的是eclipse操作的，所以需要手动导入jar包 在Hadoop.7.7/share/hadoop里有几个文件夹 common为核心类，此次需要引入common和hdfs两个文件夹下的所有jar包(包括作者写的三个jar包以及lib里面的所有jar包) 连接HDFS的服务 阅读全文
posted @ 2020-02-23 15:40 羊想蓝天 阅读(1376) 评论(1) 推荐(0)
hadoop常用的操作指令
摘要：-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix 阅读全文
posted @ 2020-02-21 13:46 羊想蓝天 阅读(348) 评论(0) 推荐(0)
Hadoop的伪分布式安装和部署的流程
摘要：1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt 阅读全文
posted @ 2020-02-20 19:04 羊想蓝天 阅读(3875) 评论(0) 推荐(0)