摘要： 一、编程实现：工具类：每隔5分钟统计最近1小时内的订单交易情况显示城市/省份/交易总金额/订单总数 ### 编程实现：工具类一：ConnHBase package myutils import org.apache.hadoop.conf.Configuration import org.apach 阅读全文

摘要： 一、编程实现：redis下沉器：MySinkToRedis ### 编程实现：redis下沉器：MySinkToRedis package ads import java.util import modes.CityOrder import org.apache.flink.configuratio 阅读全文

摘要： 一、需求2：每隔5分钟统计最近1小时内的订单交易情况，显示城市/省份/交易总金额/订单总数 增量统计 二、编程实现流程 ### 读取数据源（input） ~~~ # input读取数据源： input1：mysql：yanqi_area HBase：dim_yanqi_area(地域宽表) # 从h 阅读全文

摘要： 一、编程实现第四层：DWS层数据处理：统计城市、省份订单总额 ### 编程实现第四层：DWS层数据处理：统计城市、省份订单总额 ~~~ dws : 统计城市、省份的订单总额， ~~~ 订单总额和订单总数：orderNo、userId、status、totalMoney、areaId ~~~ ODS— 阅读全文

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

摘要： 一、编程实现第三层：DIM层数据处理 ### 编程实现第三层：DIM层数据处理 ~~~ DIM：同第四部分 dim_yanqi_area表数据 ~~~ hbash：yanqi_area——>hbash：dim_yanqi_area ~~~ 生成hbash：yanqi_area表到hbash：dim_ 阅读全文

摘要： 一、编程实现第二层：ODS层数据处理 ### 编程实现第二层：ODS层数据处理 ~~~ ODS：同第四部分 yanqi_area ~~~ ODS：mysql--（binlog） canal kafka——>yanqi_area ~~~ 下沉mysql：yanqi_area表到hbash：yanqi_ 阅读全文

摘要： 一、需求1 :查询城市、省份、订单总额、订单总数 全量查询 ### ODS层数层数据处理：yanqi_trade_orders ~~~ ods层数据处理：同第三部分 ~~~ ods：mysql--（binlog） canal kafka——>yanqi_trade_orders ~~~ ods：my 阅读全文

摘要： 一、编程实现第一层：ODS层数据处理：查询城市、省份、订单总额、订单总数 全量查询 ### 编程实现第一层：ODS层数据处理：查询城市、省份、订单总额、订单总数 全量查询 ~~~ ods层数据处理 ~~~ ods：同第三部分：mysql--（binlog） canal kafka——>yanqi_t 阅读全文

摘要： 一、DWS ### 具体代码参见配套工程代码 ~~~ 数据仓库层次的划分不是固定不变的， ~~~ 可以根据实际需求进行适当裁剪或者是添加。 ~~~ 如果业务相对简单和独立，可以将DWD、DWS进行合并。 ~~~ # 注意：在实时数仓中，DWS层数据根据自己的需求定义，后期教程会定义 Walter S 阅读全文

摘要： 一、ADS层处理 ### ADS层梳理 ~~~ ADS（Application Data Store 应用数据层）。 ~~~ 基于DW数据，整合汇总成主题域的服务数据，用于提供后续的业务查询等。 ### 从数据明细层读分析结果数据到clickhouse、redis、druid等 二、编程实现 ### 阅读全文

摘要： 一、编程实现DWD（AreaDetailInfo代码同样可以归属在DIM层中）：参考代码 ### 编程实现dwd层数据：AreaDetailInfo package dim import org.apache.flink.streaming.api.{CheckpointingMode, TimeC 阅读全文

摘要： 一、编程实现 ### 编程实现DWD层数据处理：WindowJoin package dw.dwd import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.scala 阅读全文

摘要： 一、编程实现 ### 编程实现DWD层数据处理：CoProcessFunc package dw.dwd import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.fli 阅读全文

摘要： 一、DW层处理 ### DW层处理 ~~~ DW（Data Warehouse 数据仓库层）。 ~~~ 包含DWD、DWS、DIM层，由ODS层数据加工而成。主要完成数据加工与整合， ~~~ 建立一致性的维度， ~~~ 构建可复用的面向分析和统计的明细事实表， ~~~ 以及汇总公共粒度的指标。 ~~ 阅读全文

摘要： 一、编程实现程序，从ods层下沉数据到dim层 ### HBaseReader：从Hbase中获取数据的类：HBaseReader：从hbash：yanqi_area中读取数据 package dim import java.util import myutils.ConnHBase import 阅读全文

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

摘要： 一、将mysql中yanqi_area表下沉到hbas中 ### 在hbash中创建表：yanqi_area ~~~ # 在hbash中创建yanqi_area"表 [root@hadoop02 ~]# /opt/yanqi/servers/hbase-1.3.1/bin/hbase shell h 阅读全文

摘要： 一、DIM层处理 ### DIM层处理 ~~~ 最原始的表 mysql中 yanqi_area > （hbase） ~~~ 转化yanqi_area > 地区id,地区的名字，城市的id，城市的名字， 省份的id，省份的名字 ~~~ # --> 存入 hbase中 ~~~ mysql hbase 管 阅读全文

摘要： 一、将mysql中yanqi_trade_orders表下沉到hbas中 ### 在hbash中创建表：yanqi_trade_orders ~~~ # 在hbash中创建yanqi_trade_orders"表 [root@hadoop02 ~]# /opt/yanqi/servers/hbase 阅读全文