2022年12月14日
比较2个dataFrame里某列的值的不同
摘要： 比较frame2和frame1每列的内容的不同 val dfColumns = frame2.columns dfColumns.foreach(item => { println(" "+item) val empty = frame2.select(item).except(frame1.sel 阅读全文
posted @ 2022-12-14 17:04 ivyJ 阅读(377) 评论(0) 推荐(0)
dataFrame把某列类型为array<double>或者array<string>数组里的值为null的置换为非null
摘要： 把array<double>里的null值转换为0，transform 的用法： .withColumn("aa",transform("arrayColumnName", fill_zero)) .withColumn("bb", transform(col("arrayColumnName"), 阅读全文
posted @ 2022-12-14 16:58 ivyJ 阅读(77) 评论(0) 推荐(0)
dataFrame把字符串数组"[0.1,0.2]"转换array<double>,把字符串数组“['2021-01-01'，'2021-01-02'，'2021-01-03']”转换为array<string>,把字符串日期转换为Date
摘要： import org.apache.spark.sql.functions.{col, regexp_replace, to_date, udf} 把字符串数组"[0.1,0.2]"转换array<double>：frame = frame.withColumn("ArrayDoubleValue" 阅读全文
posted @ 2022-12-14 16:54 ivyJ 阅读(108) 评论(0) 推荐(0)