2023年6月19日
开启多线程
摘要： 在service层直接在方法上注解开启 @Async("getyourPool")准备配置 @Configuration@EnableAsync@Slf4jpublic class yourConfig { @Value("${thread.pool.keepAliveSeconds:300}") 阅读全文
posted @ 2023-06-19 17:54 ivyJ 阅读(42) 评论(0) 推荐(0)
spark dataFrame某列数组的元素个数
摘要： .withColumn("size", size(col("columnname"))) \ 阅读全文
posted @ 2023-06-19 17:23 ivyJ 阅读(56) 评论(0) 推荐(0)
spark dataFrame某列按照‘/’split
摘要： 截取列值/左边的值.withColumn("columnname1", substring_index(col("columnname"), "/", -1)) 截取列值/右边的值 .withColumn("columnname2", substring_index(col("columnname" 阅读全文
posted @ 2023-06-19 17:18 ivyJ 阅读(116) 评论(0) 推荐(0)
截取某列数组元素里的一部分成为一个新列数组
摘要： 参考 ： https://www.coder.work/article/3220624 spark 2.4的新方法 Spark 2.4 引入了新的 SQL 函数 slice，可用于从数组列中提取一定范围的元素。 阅读全文
posted @ 2023-06-19 17:14 ivyJ 阅读(73) 评论(0) 推荐(0)