摘要:
之前有文章介绍过HDFS租约带来的问题,导致spark应用无法正常读取文件,只能将异常文件找出并且删除后,任务才能继续执行。 但是删除文件实在是下下策,而且文件本身其实并未损坏,只是因为已经close的客户端没有及时的释放租约导致。 按照Hadoop官网的说法,HDFS会启动一个单独的线程,专门处理 阅读全文
posted @ 2017-08-07 19:31
豪放婉约派程序员
阅读(1594)
评论(1)
推荐(0)