摘要：
HDFS相关基本操作 上传 -moveFromLocal 从本地剪切粘贴到HDFS -copyFromLocal 从本地拷贝粘贴到HDFS -put 等同于-copyFromLocal 从本地拷贝粘贴到HDFS -appendToFile 追加一个文件到一个已存在的文件末尾 下载 -copyToLo 阅读全文
posted @ 2021-03-10 17:44
莳曳
阅读(120)
评论(0)
推荐(0)
摘要：
一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9820 Yarn 查看任务运行情况的端口：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：802 阅读全文
posted @ 2021-03-06 17:44
莳曳
阅读(102)
评论(0)
推荐(0)
摘要：
centos7 启动停止集群脚本 配置完成后 启动集群命令：myhadoop.sh start 关闭集群命令：myhadoop.sh stop 单节点启动命令（以启动datanode为例）：hdfs --daemon start datanode 在 /home/用户名/bin 中新建文件 myha 阅读全文
posted @ 2021-03-06 17:34
莳曳
阅读(1002)
评论(0)
推荐(0)
摘要：
增加以下内容到 yarn-site.sh 中 <!-- 以下为日志聚集功能配置 --> <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 阅读全文
posted @ 2021-03-06 16:38
莳曳
阅读(61)
评论(0)
推荐(0)
摘要：
题面： 启动集群正常 运行 wordcount 脚本时出现错误如下： 2021-03-06 10:46:36,826 INFO mapreduce.Job: map 0% reduce 0% 2021-03-06 10:46:36,845 INFO mapreduce.Job: Job job_16 阅读全文
posted @ 2021-03-06 12:20
莳曳
阅读(3028)
评论(2)
推荐(0)
摘要：
配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 阅读全文
posted @ 2021-03-05 19:16
莳曳
阅读(115)
评论(0)
推荐(0)
摘要：
杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode 阅读全文
posted @ 2021-03-05 18:11
莳曳
阅读(96)
评论(0)
推荐(0)
摘要：
配置 workers vim $HADOOP_HOME/etc/hadoop/workers 修改为以下内容 hadoop102 hadoop103 hadoop104 注：文中不要有空行 文末不要有空格 同步更改到其他服务器上 xsync workers 启动集群 注：第一次启动集群需要初始化 初 阅读全文
posted @ 2021-03-05 17:35
莳曳
阅读(171)
评论(0)
推荐(0)
摘要：
服务器间的 hadoop 集群配置 应用操作以建立服务器之间的链接 到达指定目录 cd $HADOOP_HOME/etc/hadoop/ 修改四个文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml <!-- core-site.x 阅读全文
posted @ 2021-03-05 11:20
莳曳
阅读(162)
评论(0)
推荐(0)
摘要：
~~预备知识：~~查看当前目录下所有的隐藏文件 ls -al 1.到/home/用户名/.ssh 文件夹中 2.运行 ssh-keygen -t rsa 之后敲三遍回车，会产生两个文件 id_ras 私钥文件 、id_rsa.pub公钥文件 3.将公钥copy到免密登录的目标主机上 ssh-copy 阅读全文
posted @ 2021-03-04 20:19
莳曳
阅读(137)
评论(0)
推荐(0)
浙公网安备 33010602011771号