摘要：发生了一件辣眼睛的操作，一个现场应用升级，由于跨度很大，不敢直接动，就把现场的数据库dump拿回来，在公司做写升级测试。 于是，联系现场的工程师把数据库dump导出来，放到网盘弄回来。 一个星期后 现场的工程师说，dump文件太大，拿不了 回想起，去年去哪个现场的时候，看到的数据表空间截图： 700 阅读全文

摘要：接上篇：使用Hadoop API 压缩HDFS文件 压缩完了，当然需要解压缩了。 直接上代码： 打包执行： 文件大小： 249.4 M ，解压后大小：1.4 G，执行时间 39 s，很不错 项目地址：码云 阅读全文

摘要：下篇解压缩：使用Hadoop API 解压缩 HDFS文件 起因： 集群磁盘剩余空间不足。 删除了存储在HDFS上的，一定时间之前的中间结果，发现并不能释放太多空间，查看计算业务，发现，每天的日志存在数量竟然是10份。/惊恐 /a/log=20180101 #每日原始日志 /b/log=201801 阅读全文

摘要：前段时间，一个客户现场的Hadoop看起来很不正常，有的机器的存储占用达到95%，有的机器只有40%左右，刚好前任的负责人走了，这边还没有明确接班人的时候。 我负责的大数据计算部分，又要依赖Hadoop的基础平台，要是Hadoop死了，我的报表也跑不出来（专业背锅）。 做下balance，让各个节点 阅读全文