HDFS记录

HDFS集群缩容问题 Decommission DataNode
https://cloud.tencent.com/developer/article/1727380

yarn数据目录:
日志文件相对简单,存在${yarn.nodemanager.log-dirs}/${appid}/${containerid}下。日志的清理机制分为定期删除(保留时间由yarn.nodemanager.log.retain-seconds决定)和日志转存(yarn.log-aggregation-enable开启)两种。

parquet orc等二进制文件查看工具
BigdataFileViewer
D:\BaiduNetdiskDownload\资料-零基础学习Hadoop3.0-HDFS从入门到源码\4.资料、软件\二进制文件查看工具

hadoop job 的container日志的查看
https://blog.csdn.net/u010839779/article/details/79896987?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-2-79896987.pc_agg_new_rank&utm_term=yarn+%E6%9F%A5%E7%9C%8Bcontainer%E6%97%A5%E5%BF%97&spm=1000.2123.3001.4430

Hadoop生态圈(三十四)- YARN WebUI服务使用指南
https://blog.csdn.net/weixin_44758876/article/details/122861916

使用Hadoop的JAVA API远程访问HDFS
https://blog.csdn.net/cjf_wei/article/details/79303552?utm_source=blogxgwz0

posted @ 2023-05-28 15:57  平平淡淡以明志  阅读(32)  评论(0)    收藏  举报