摘要: 一、窗口函数 聚合函数: sum() min() max() avg() 排序函数: rank() dens_rank() row_number() ntile() 统计比较函数: lead() lag() first_value() 二、窗口大小 partition by order by 三、窗 阅读全文
posted @ 2024-01-19 14:58 酷酷的狐狸 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 1.添加maven依赖 <dependencies> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> </dependencies 阅读全文
posted @ 2023-09-14 15:57 酷酷的狐狸 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 思路:使用正则替换json数组内部json串之间的逗号。"},{" > "}|{",再使用炸裂函数lateral view explod(split(col,"|"))将列转行,最后使用get_json_object()单独处理每个展开行的数据。 SELECT explode(split( rege 阅读全文
posted @ 2023-08-31 16:53 酷酷的狐狸 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 引用类型的注入可以使用@Autowired@Autowired:spring框架提供的注解,实现引用类型的赋值。spring中通过注解给引用类型赋值,使用的是自动注入原理,支持byName,byType@Autowired:默认使用的是byType自动注入位置:1)在属性定义的上面,无需set方法, 阅读全文
posted @ 2023-08-23 15:03 酷酷的狐狸 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 第一部分:一般命令模式可用的功能按键说明,光标移动、复制粘贴、查找替换等 移动光标的方法 h或向左箭头键(←) : 光标向左移动一个字符 j或向下箭头键 (↓): 光标向下移动一个字符 k或向上箭头键(↑):光标向上移动一个字符 l或向右箭头键(→):光标向右移动-一个字符 [CtrI]+[f]:屏 阅读全文
posted @ 2023-08-21 11:13 酷酷的狐狸 阅读(39) 评论(0) 推荐(0) 编辑
摘要: File —> Settings —>Editor —> General —>Appearance将页面中的Show properties type hints(Scala),Show local variable type hints(Scala),Show obvions types(Scala 阅读全文
posted @ 2023-08-15 17:01 酷酷的狐狸 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 大数据在进行ETL过程中,为了避免因为源、目标表字段因为数据类型不一致造成抽数失败,所以在目标表一般都会将字段设置成string类型,后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例: 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE 阅读全文
posted @ 2023-08-11 15:11 酷酷的狐狸 阅读(316) 评论(0) 推荐(0) 编辑
摘要: Regular join 第一种:left join流任务中,只要left的流数据到了,就输出。如果右边流没有到,输出 [L,NULL];如果右边流到了,输出 [L, R] 第二种:right join流任务中,只要right的流数据到了,就输出。如果左边流没有到,输出 [NULL,R];如果右边流 阅读全文
posted @ 2023-07-13 13:52 酷酷的狐狸 阅读(351) 评论(0) 推荐(0) 编辑
摘要: kafka重置消费位点一般分几种情况 重置到最新的消费位点 重置到最早的消费位点 根据时间戳重置消费位点 跟据指定偏移量重置消费位点 基于kafka 2.0.0 package com.realtime.kafka; import lombok.extern.slf4j.Slf4j; import 阅读全文
posted @ 2023-03-16 18:16 酷酷的狐狸 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 【问题】org.apache.spark.shuffle.FetchFailedException: Connection from /172.xx.xx.xx:port closed。导致任务耗时较长。 【排查方法】查看磁盘当时使用情况 阅读全文
posted @ 2022-11-03 18:07 酷酷的狐狸 阅读(18) 评论(0) 推荐(0) 编辑