12 2022 档案

java代码实现上传文件到谷歌云
摘要：1、run configuration 添加vm参数： -Dhttps.proxy=http://googleapis-dev.gcp.cloud.uk.hsbc:3128-Dhttps.proxyHost=googleapis-dev.gcp.cloud.uk.hsbc-Dhttps.proxyP 阅读全文
posted @ 2022-12-30 17:46 ivyJ 阅读(283) 评论(0) 推荐(0)
比较2个dataFrame里某列的值的不同
摘要：比较frame2和frame1每列的内容的不同 val dfColumns = frame2.columns dfColumns.foreach(item => { println(" "+item) val empty = frame2.select(item).except(frame1.sel 阅读全文
posted @ 2022-12-14 17:04 ivyJ 阅读(379) 评论(0) 推荐(0)
dataFrame把某列类型为array<double>或者array<string>数组里的值为null的置换为非null
摘要：把array<double>里的null值转换为0，transform 的用法： .withColumn("aa",transform("arrayColumnName", fill_zero)) .withColumn("bb", transform(col("arrayColumnName"), 阅读全文
posted @ 2022-12-14 16:58 ivyJ 阅读(79) 评论(0) 推荐(0)
dataFrame把字符串数组"[0.1,0.2]"转换array<double>,把字符串数组“['2021-01-01'，'2021-01-02'，'2021-01-03']”转换为array<string>,把字符串日期转换为Date
摘要：import org.apache.spark.sql.functions.{col, regexp_replace, to_date, udf} 把字符串数组"[0.1,0.2]"转换array<double>：frame = frame.withColumn("ArrayDoubleValue" 阅读全文
posted @ 2022-12-14 16:54 ivyJ 阅读(108) 评论(0) 推荐(0)