Hadoop - 随笔分类(第2页) - CHANG_09

HDFS NameNode Hadoop怎么分片

摘要：HDFS 上传文件和读文件的流程 (1)由客户端 Client 向 NameNode 节点发出请求; (2)NameNode 向 Client 返回可以存数据的 DataNode 列表，这里遵循机架感应原则(把副本分别放在不同的机架，甚至不同的数据中心); (3)客户端首先根据返回的信息先将文件分块阅读全文

posted @ 2022-05-31 16:25 CHANG_09 阅读(163) 评论(0) 推荐(0)

Hadoop 常用端口号

摘要：hadoop3.x HDFS NameNode 内部通常端口：8020、9000、9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的端口：8088 历史服务器：19888 阅读全文

posted @ 2022-05-25 18:42 CHANG_09 阅读(1086) 评论(0) 推荐(0)

HDFS block丢失过多进入安全模式（Safe mode）的解决方法

摘要：HDFS block丢失过多进入安全模式（Safe mode）的解决方法背景及现象描述(Background and Symptom) 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志： The number of live datanod 阅读全文

posted @ 2022-01-12 19:34 CHANG_09 阅读(982) 评论(0) 推荐(0)

hadoop集群启动脚本

摘要：1 #!/bin/bash 2 case $1 in 3 "start") 4 echo "————————————启动 hadoop 集群————————" 5 ssh hadoop106 "/opt/module/hadoop/sbin/start-dfs.sh" 6 ssh hadoop107 阅读全文

posted @ 2022-01-10 15:23 CHANG_09 阅读(239) 评论(0) 推荐(0)

启动Hadoop集群 namenode 未启动检查日志和xml配置原因 java 版本太高

摘要：启动失败： [root@hadoop106 ~]# shells/jps.sh jps 106 17086 DataNode 16942 NameNode 17582 Jps jps 107 16466 DataNode 17017 Jps jps 108 16308 SecondaryNameNo 阅读全文

posted @ 2022-01-08 11:00 CHANG_09 阅读(343) 评论(0) 推荐(0)

Hadoop一直处于安全模式（hadoop去掉保护模式）

摘要：转自：hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式 - -小鱼- - 博客园 (cnblogs.com) hadoop去掉保护模式命令hadoop fs –safemode get 查看安全模式状态命令hadoop fs –safemode enter 进入安全阅读全文

posted @ 2022-01-07 14:19 CHANG_09 阅读(1420) 评论(0) 推荐(0)

CHANG_09

随笔分类 - Hadoop

公告