2018年11月1日
Spark SQL的数据源(Spark2.3.2)
摘要： 版权声明：本文为博主原创(翻译)文章，未经博主允许不得转载。https://blog.csdn.net/jmx_bigdata/article/details/83619838 目录 一、 普通的Load/Save方式 1. 手动指定文件格式 2.使用SQ... 阅读全文
posted @ 2018-11-01 14:26 大数据技术与数仓 阅读(469) 评论(0) 推荐(0)
Spark SQL的两种用户自定义聚合函数(UDAF)
摘要： 一、概述 DataFrames的内置函数提供了常见的聚合函数，比如count(), countDistinct(), avg(), max(), min()等，但是这些函数是为DataFrames而设计的，Spark SQL也有适用于强类型的Datasets的... 阅读全文
posted @ 2018-11-01 11:49 大数据技术与数仓 阅读(248) 评论(0) 推荐(0)