2020年7月16日
小需求：看数据源目录下所有gz压缩包的原始大小
摘要： 今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 阅读全文
posted @ 2020-07-16 23:10 MGMT_N5983 阅读(659) 评论(0) 推荐(0)