☆☆☆★☆☆☆

唯有努力才能活成自己想要活成的样子

导航

06 2021 档案

MapReduce处理大(小)文件的方式
摘要:1.输入大文件时 conf.setLong(FileInputFormat.SPLIT_MINSIZE,1024*1024*256L); //小于这个数据时进行合并 conf.setLong(FileInputFormat.SPLIT_MAXSIZE,1024*1024*1024); //大于这个数 阅读全文

posted @ 2021-06-21 17:44 Yr-Zhang 阅读(353) 评论(0) 推荐(0)

查看修复HDFS中丢失的块
摘要:检测缺失块 hdfs fsck -list-corruptfileblocks;hdfs fsck / ; 查看某一个文件的情况 hdfs fsck /路径/文件名 -locations -blocks -files 手动修复 hdfs debug recoverLease -path 文件位置 - 阅读全文

posted @ 2021-06-16 15:55 Yr-Zhang 阅读(1718) 评论(0) 推荐(0)