随笔分类 -  大数据

parquet【yetdone】
摘要:典型场景:Spark SQL、Presto 等 OLAP 引擎的首选格式,适合海量数据的交互式分析。 Block (hdfs block): 指 hdfs 文件系统的 block,parquet 是在 hdfs 文件之上的数据组织格式;(当然现在很多对象存储系统,比如 S3,也支持 parquet 阅读全文

posted @ 2025-07-21 00:11 silyvin 阅读(9) 评论(0) 推荐(0)

flink
摘要:1 1)实时计算出当天零点截止到当前时间的销售总额 2)计算出各个分类的销售额最大的top3 3)每秒钟更新一次统计结果 2 要求每5分钟统计一次用户数和流量(上行流量 + 下行流量),维度为scene_name,要求结果如下表: date_time窗口结束时间scene_name场景名称user_ 阅读全文

posted @ 2025-07-21 00:09 silyvin 阅读(5) 评论(0) 推荐(0)