羊想蓝天

2020年3月4日

摘要：一、导入jia包需要导入common,hdfs以及mapreduce下的所有jar包二、代码实现诗词出现字数统计先在桌面上创建一个文本文档（明月几时有.txt）,内容为一首诗词在eclipse新建三个类：WordCountMapper、WordCountReducer、WordCountDr 阅读全文

posted @ 2020-03-04 15:20 羊想蓝天阅读(508) 评论(0) 推荐(1)

2020年2月29日

hdfs的客户端读写流程以及namenode,secondarynamenode,checkpoint原理

摘要：一、客户端写入数据 1、客户端向NameNode发送上传文件的请求。 2、NameNode检查目录（这个文件是否已经存在），若已存在，返回错误，不存在，则继续。 3、NameNode给客户端发送可以上传的信息。 4、客户端再次向NameNode发送上传请求。 5、NameNode检查节点DataNo 阅读全文

posted @ 2020-02-29 16:52 羊想蓝天阅读(557) 评论(1) 推荐(0)

2020年2月26日

hadoop的扩容

摘要：一、横向扩容(参见：https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1、克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IP 阅读全文

posted @ 2020-02-26 16:01 羊想蓝天阅读(703) 评论(0) 推荐(0)

2020年2月25日

hadoop完全分布式部署

摘要： hadoopd的sbin目录的脚本一、服务相关的一些脚本开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （阅读全文

posted @ 2020-02-25 16:56 羊想蓝天阅读(493) 评论(0) 推荐(0)

2020年2月23日

HDFS核心类FileSystem的使用

摘要：一、导入jar包本次使用的是eclipse操作的，所以需要手动导入jar包在Hadoop.7.7/share/hadoop里有几个文件夹 common为核心类，此次需要引入common和hdfs两个文件夹下的所有jar包(包括作者写的三个jar包以及lib里面的所有jar包) 连接HDFS的服务阅读全文

posted @ 2020-02-23 15:40 羊想蓝天阅读(1369) 评论(1) 推荐(0)

2020年2月21日

hadoop常用的操作指令

摘要： -help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix 阅读全文

posted @ 2020-02-21 13:46 羊想蓝天阅读(343) 评论(0) 推荐(0)

2020年2月20日

Hadoop的伪分布式安装和部署的流程

摘要： 1、准备工作下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt 阅读全文

posted @ 2020-02-20 19:04 羊想蓝天阅读(3869) 评论(0) 推荐(0)

公告