2024年5月29日
spark sql中的FORMAT_NUMBER和ROUND函数
摘要： 一、例子：FORMAT_NUMBER(ROUND(value, 2), '0.00') 二、ROUND函数的作用：用于将数值字段舍入到指定的小数位数，如果未指定小数位数，则默认将数字舍入到最接近的整数。 三、FORMAT_NUMBER函数的作用：用于将数字格式化为指定的格式，而不是进行舍入。 四、两 阅读全文
posted @ 2024-05-29 22:40 chy_cug 阅读(509) 评论(0) 推荐(0)
spark sql导出数据为excel文件和csv文件
摘要： 一、利用to_csv函数导出数据为csv文件：df = spark.sql('''select * from table;''')df.toPandas().to_csv('table.csv', index=False)其中：index=False参数表示在保存时不包括行索引。 二、利用to_ex 阅读全文
posted @ 2024-05-29 22:32 chy_cug 阅读(583) 评论(0) 推荐(0)
spark sql中的几种数据库join
摘要： 一、连接类型：Inner Join : 内连接；Full Outer Join : 全外连接；Left Outer Join : 左外连接；Right Outer Join : 右外连接；Left Semi Join : 左半连接；Left Anti Join : 左反连接；Natural Join 阅读全文
posted @ 2024-05-29 22:11 chy_cug 阅读(228) 评论(0) 推荐(0)
spark sql实现“平均月活”和“平均周活”及相关函数
摘要： 一、平均月活：SELECT date_format(time, 'yyyy-MM') AS current_month, COUNT(DISTINCT user_id) AS month_active_user_numFROM tableWHERE time >= trunc(now(), 'YEA 阅读全文
posted @ 2024-05-29 21:41 chy_cug 阅读(68) 评论(0) 推荐(0)