会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
ivyJ
博客园
首页
新随笔
联系
订阅
管理
1
2
3
4
5
···
10
下一页
2024年7月11日
python常用函数
摘要: map() fution:map(func, *iterables) --> map object reduce() filter()
阅读全文
posted @ 2024-07-11 17:58 ivyJ
阅读(8)
评论(0)
推荐(0)
2023年11月24日
python lamda学习
摘要: 收藏网站 : https://python-course.eu/advanced-python/lambda-filter-reduce-map.php
阅读全文
posted @ 2023-11-24 18:05 ivyJ
阅读(7)
评论(0)
推荐(0)
2023年6月19日
开启多线程
摘要: 在service层直接在方法上注解开启 @Async("getyourPool")准备配置 @Configuration@EnableAsync@Slf4jpublic class yourConfig { @Value("${thread.pool.keepAliveSeconds:300}")
阅读全文
posted @ 2023-06-19 17:54 ivyJ
阅读(40)
评论(0)
推荐(0)
spark dataFrame某列数组的元素个数
摘要: .withColumn("size", size(col("columnname"))) \
阅读全文
posted @ 2023-06-19 17:23 ivyJ
阅读(52)
评论(0)
推荐(0)
spark dataFrame某列按照‘/’split
摘要: 截取列值/左边的值.withColumn("columnname1", substring_index(col("columnname"), "/", -1)) 截取列值/右边的值 .withColumn("columnname2", substring_index(col("columnname"
阅读全文
posted @ 2023-06-19 17:18 ivyJ
阅读(116)
评论(0)
推荐(0)
截取某列数组元素里的一部分成为一个新列数组
摘要: 参考 : https://www.coder.work/article/3220624 spark 2.4的新方法 Spark 2.4 引入了新的 SQL 函数 slice,可用于从数组列中提取一定范围的元素。
阅读全文
posted @ 2023-06-19 17:14 ivyJ
阅读(66)
评论(0)
推荐(0)
2023年1月29日
scala+spark把某列string类型转换dataFrame的日期,array<double>,array<string>格式
摘要: result = resdf.withColumn("Date", to_date(col("Date"), "yyyy-MM-dd")).\ withColumn("arrayDouble", regexp_replace(col("arrayDouble"), "\\]", "")).\ wit
阅读全文
posted @ 2023-01-29 15:14 ivyJ
阅读(348)
评论(0)
推荐(0)
2023年1月28日
Data Processing code sample :
摘要: Data Processing code sample : Scala : https://github.com/awslabs/deequ python : https://github.com/awslabs/python-deequ
阅读全文
posted @ 2023-01-28 18:18 ivyJ
阅读(51)
评论(0)
推荐(0)
在IDE代码里写死加入keyStore
摘要: System.setProperty("javax.net.ssl.keyStore", "C:\\swdtools\\jdk-11.0.11-X64\\lib\\security\\keystore.jks");System.setProperty("javax.net.ssl.trustStro
阅读全文
posted @ 2023-01-28 18:08 ivyJ
阅读(40)
评论(0)
推荐(0)
开启SSL 证书的debug 可以查看http请求的时候加载了哪些证书
摘要: IDE vm加参数: -Djavax.net.debug=ssl:handshake:verbose:keymanager:trustmanager-Djava.security.debug=access:stack
阅读全文
posted @ 2023-01-28 18:04 ivyJ
阅读(121)
评论(0)
推荐(0)
1
2
3
4
5
···
10
下一页
公告