个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub

DataFrameNaFunctions无fill方法

当我使用 spark2.1 ,为了填补 dataframe 里面的 null 值转换为 0 ,代码如下所示:

dataframe.na.fill(0)

出现如下错误 Spark version 2.1.0 returns following error :

java.lang.NoSuchMethodError: org.apache.spark.sql.DataFrameNaFunctions.fill(JLscala/collection/Seq;)Lorg/apache/spark/sql/Dataset

原来在 spark2.1 版本暂时不支持 na.fill 写法,因此查询众多方式得到解决:

import org.apache.spark.sql.functions.when
val dataDF = dataframe.withColumn("col", when(dataframe("col").isNull,0).otherwise(dataframe("col")))

posted on 2019-03-06 09:56 TTyb 阅读(...) 评论(...) 编辑 收藏

导航


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock