Spark - Pandas UDF

spark 本身对 dataframe 的操作支持没有像pandas 那样强大，所有我们可以把spark dataframe 转化成 pandas dataframe 来利用pandas dataframe的方便性，这个是通过 pandas udf 来完成的

 

spark2.4.4官方文档 https://spark.apache.org/docs/latest/sql-pyspark-pandas-with-arrow.html

https://intellipaat.com/community/11611/applying-udfs-on-groupeddata-in-pyspark-with-functioning-python-example

Spark 上跑 Prophet https://towardsdatascience.com/pyspark-forecasting-with-pandas-udf-and-fb-prophet-e9d70f86d802