2021年9月6日
Spark数据倾斜处理方案
摘要： 1.HiveETL预处理 简述：预先对数据按照key进行聚合，或者是预先和其他表进行join，然后在spark作业中针对的数据源就是预处理后的Hive表，不需要使用原先的shuffle类算子执行。 使用场景：导致数据倾斜的是Hive表。如果Hive表中的数据本身很不均匀（比如某个key对应100w数 阅读全文
posted @ 2021-09-06 13:58 墨梅青莲 阅读(107) 评论(0) 推荐(0)
查询连续三天登录问题
摘要： 解决问题：要求使用sql查询出连续三天登录的用户 1.建表： CREATE TABLE `tmp` ( `name` varchar(255) NOT NULL, `login_date` datetime DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u 阅读全文
posted @ 2021-09-06 11:11 墨梅青莲 阅读(465) 评论(0) 推荐(0)
使用Navicat查询Mysql版本
摘要： 查询语句如下： SELECT VERSION() FROM DUAL; 结果如下 阅读全文
posted @ 2021-09-06 09:37 墨梅青莲 阅读(402) 评论(0) 推荐(0)