随笔分类 -  Hadoop

中间结果占满了磁盘空间
摘要：1.准备文件(200M) 2.跑MapReduce 3.map阶段48%卡主不动 4.强制杀死进程 hadoop jar -kill id号 5.再次启动报错，资源不足，namenode进入安全模式，强制解除安全模式没有效果 hadoop dfsadmin -safemode leave 6.使用d 阅读全文
posted @ 2019-11-16 00:39 tunan96 阅读(209) 评论(0) 推荐(0)
什么是大数据倾斜
摘要：来源：https://www.cnblogs.com/gala1021/p/8552302.html 侵删 什么是数据倾斜 简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。 相信 阅读全文
posted @ 2019-11-04 16:54 tunan96 阅读(368) 评论(0) 推荐(0)
snappy压缩的使用和总结
摘要：占位符！ 阅读全文
posted @ 2019-10-27 23:01 tunan96 阅读(645) 评论(0) 推荐(0)