LeeB_o

摘要： 转自：https://www.jianshu.com/p/06c6f9e50974 最简单的注册UDF 直接将lambda表达式注册成UDF 下面是一个简单的清洗函数 from pyspark.sql.types import StringType spark.udf.register('sex_d 阅读全文

摘要： 自定义聚合函数 UDAF 目前有点麻烦，PandasUDFType.GROUPED_AGG 在2.3.2的版本中不知怎么回事，不能使用！ 这样的话只能曲线救国了！ PySpark有一组很好的聚合函数（例如，count，countDistinct，min，max，avg，sum），但这些并不适用于所有 阅读全文