yetang307

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
1. SparkSQL支持UDF和UDAF定义,但在Python中,暂时只能定义
UDF
2. UDF定义支持2种方式, 1:使用SparkSession对象构建. 2: 使用
functions包中提供的UDF API构建. 要注意, 方式1可用DSL和SQL
风格, 方式2 仅可用于DSL风格
3. SparkSQL支持窗口函数使用, 常用SQL中的窗口函数均支持, 如聚
合窗口\排序窗口\NTILE分组窗口等
posted on 2024-01-29 22:57  椰糖  阅读(5)  评论(0编辑  收藏  举报