08 2017 档案

• 如何恢复未释放租约的HDFS文件
  摘要：之前有文章介绍过HDFS租约带来的问题，导致spark应用无法正常读取文件，只能将异常文件找出并且删除后，任务才能继续执行。 但是删除文件实在是下下策，而且文件本身其实并未损坏，只是因为已经close的客户端没有及时的释放租约导致。 按照Hadoop官网的说法，HDFS会启动一个单独的线程，专门处理 阅读全文
  posted @ 2017-08-07 19:31 豪放婉约派程序员 阅读(1602) 评论(1) 推荐(0)