关于hdfs集群中Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.错误解决

一次偶然操作,图快在web界面直接操作删除了一些文件,刷新后出现下面的情况

Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

输入下面的指令检查并尝试修复了一下文件块,发现没用

hadoop  fsck 

直接删除损坏的文件块

hadoop  fsck -delete

原因分析:
删除了几个hdfs上的数据,然后就出现这个问题,异常信息
在hdfs中数据是按块方式(blk_1073748128没理解错误就是一个块)存储的,删除了blk_1073748128后,元数据还在,但是数据块不在了,才报的这个错,但是这部分数据其实不需要了,所以可以直接将异常的文件块的元数据信息也删除。

posted @ 2021-11-16 18:44  KaneQi  阅读(816)  评论(0编辑  收藏  举报