liudehaos

还历史以真诚，还生命以过程。 ——余秋雨
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  实时数仓项目

项目：实时数仓项目实战（三）构建数数据仓库_ads层指标统计

摘要：1、ADS层 统计指标的方法论 原子指标：下单金额，支付金额 派生指标=原子指标+统计周期+业务限定+统计维度 先在mysql中创建数据库gma_ads 1、支付金额 实时计算每个用户每天实时的支付金额 实时计算每个地区每天的支付金额 实时计算每种支付方式每天支付金额 实时统计每个大区每天的支付金额 阅读全文

posted @ 2022-08-16 11:14 liudehaos 阅读(372) 评论(0) 推荐(0)

项目：实时数仓项目实战（二）构建数数据仓库_ods层和dim层

摘要：一、flink整合hive的catalog flink的元数据需要存放在hive中，需要创建hive的catalog（可以理解为一个flink中的数据库） -- 进入sql客户端 sql-client.sh -- 创建hive catalog CREATE CATALOG hive_catalog 阅读全文

posted @ 2022-08-16 11:14 liudehaos 阅读(576) 评论(0) 推荐(0)

项目：实时数仓项目实战（一）平台搭建

摘要：一、实时项目框架流程 二、平台搭建 一、项目构建 1、框架版本 hadoop 2.7.6 端口号：hdfs:50070 yarn:8088 hive 1.2.1 zookeeper 3.4.6 hbase 1.4.6 端口号：16010 kafka 1.0.0 Flink 1.15.0 canal: 阅读全文

posted @ 2022-08-11 21:32 liudehaos 阅读(1016) 评论(0) 推荐(0)