2019年8月31日

spark shuff机制

摘要： 不同点在于，图一是内存缓冲区满了写入到磁盘，还没有进行sort操作 spark 数据倾斜优化： 1. 使用etl预处理数据 （为了防止某些key数据量过大的问题， 对数据进行提前聚合或和其他的表进行join操作）指标不治本，还会出现数据的倾斜问题 2.过滤少数导致倾斜的 key ，临界值，极点的问题 阅读全文

posted @ 2019-08-31 15:58 床上小老虎 阅读(221) 评论(0) 推荐(0)

hive函数和窗口函数

摘要： 为什么 叫实用函数，因为有些不实用的函数没有写进文档中，哈哈。 参考文档： 《Apache Hive Cookbook》 Hive分析窗口函数(一) SUM,AVG,MIN,MAX # 示例表结构sales CREATE TABLE `sales`( `id` int, `fname` string 阅读全文

posted @ 2019-08-31 11:03 床上小老虎 阅读(337) 评论(2) 推荐(0)

导航