2024年5月30日
MySQL数据库中的分组函数ROLLUP
摘要： ROLLUP是GROUP BY子句的扩展。 ROLLUP选项允许包含表示小计的额外行，通常称为超级聚合行，以及总计行。 通过使用ROLLUP选项，可以使用单个查询生成多个分组集。 MySQL中的ROLLUP是用于 产生汇总输出的修饰符，包括表示超级汇总(较高级别)汇总操作的额外行。它使我们能够使用单 阅读全文
posted @ 2024-05-30 23:06 chy_cug 阅读(341) 评论(0) 推荐(0)
埋点表相关
摘要： 1、统计指标：计划书转发量,生成计划书总量,访问次数,访问人数;2、需要用到的埋点表数据：用户ID,事件类型;3、埋点表的过滤条件：应用系统ID,用户类型,事件类型,页面,按钮。 阅读全文
posted @ 2024-05-30 22:58 chy_cug 阅读(77) 评论(0) 推荐(0)
2024年5月29日
spark sql中的FORMAT_NUMBER和ROUND函数
摘要： 一、例子：FORMAT_NUMBER(ROUND(value, 2), '0.00') 二、ROUND函数的作用：用于将数值字段舍入到指定的小数位数，如果未指定小数位数，则默认将数字舍入到最接近的整数。 三、FORMAT_NUMBER函数的作用：用于将数字格式化为指定的格式，而不是进行舍入。 四、两 阅读全文
posted @ 2024-05-29 22:40 chy_cug 阅读(509) 评论(0) 推荐(0)
spark sql导出数据为excel文件和csv文件
摘要： 一、利用to_csv函数导出数据为csv文件：df = spark.sql('''select * from table;''')df.toPandas().to_csv('table.csv', index=False)其中：index=False参数表示在保存时不包括行索引。 二、利用to_ex 阅读全文
posted @ 2024-05-29 22:32 chy_cug 阅读(583) 评论(0) 推荐(0)
spark sql中的几种数据库join
摘要： 一、连接类型：Inner Join : 内连接；Full Outer Join : 全外连接；Left Outer Join : 左外连接；Right Outer Join : 右外连接；Left Semi Join : 左半连接；Left Anti Join : 左反连接；Natural Join 阅读全文
posted @ 2024-05-29 22:11 chy_cug 阅读(228) 评论(0) 推荐(0)
spark sql实现“平均月活”和“平均周活”及相关函数
摘要： 一、平均月活：SELECT date_format(time, 'yyyy-MM') AS current_month, COUNT(DISTINCT user_id) AS month_active_user_numFROM tableWHERE time >= trunc(now(), 'YEA 阅读全文
posted @ 2024-05-29 21:41 chy_cug 阅读(68) 评论(0) 推荐(0)
2024年4月6日
“数据中台：让数据用起来”总结
摘要： 一、什么是数据中台数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。 二、数据中台必备的4个核心能力1、数据汇聚整合；2、数据提纯加工；3、数据服务可视化 阅读全文
posted @ 2024-04-06 22:41 chy_cug 阅读(215) 评论(0) 推荐(0)
2024年2月27日
在spark sql中解析json格式数据
摘要： 一、实际的sql语句：select app_id, event_time, event, spm_b_code, spm_c_code, spm_d_code, spm_biz_type, user_id, user_id_type, seat_code, spm_content_type, sou 阅读全文
posted @ 2024-02-27 22:10 chy_cug 阅读(724) 评论(0) 推荐(0)
git安装与使用
摘要： 一、git安装下载Git-2.43.0-64-bit，下载地址：百度网盘 https://pan.baidu.com/s/1Khb3mNnWoDUs6jU4eRscVA安装步骤参考： https://baijiahao.baidu.com/s?id=1784816771900714729&wfr=s 阅读全文
posted @ 2024-02-27 21:45 chy_cug 阅读(150) 评论(0) 推荐(0)
2024年1月10日
NFS安装及NAS配置
摘要： 问题起源：在安装NAS的过程中，需要执行mount命令；在执行mount命令的时候，报错如下：mount:/tdsqlbackup:bad option:for several filesystem(e.g. nfs,cifs) you might need a /sbin/mount.<type> 阅读全文
posted @ 2024-01-10 17:03 chy_cug 阅读(173) 评论(0) 推荐(0)