|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&PB级数仓.V15|——|PB数仓.v15|核心交易分析|脚本执行顺序|

一、数据导出
### --- 数据导出

~~~     ads.ads_trade_order_analysis 分区表,使用DataX导出到MySQL
二、小结
### --- 脚本调用次序:

~~~     # 加载ODS数据(含DataX迁移数据)
sh  /data/yanqidw/script/trade/ods_load_trade.sh
~~~     # 加载DIM层数据
sh  /data/yanqidw/script/trade/dim_load_product_cat.sh
sh  /data/yanqidw/script/trade/dim_load_shop_org.sh
sh  /data/yanqidw/script/trade/dim_load_payment.sh
sh  /data/yanqidw/script/trade/dim_load_product_info.sh
~~~     # 加载DWD层数据
sh  /data/yanqidw/script/trade/dwd_load_trade_orders.sh
~~~     # 加载DWS层数据
sh  /data/yanqidw/script/trade/dws_load_trade_orders.sh
~~~     # 加载ADS层数据
sh  /data/yanqidw/script/trade/ads_load_trade_order_analysis.sh
### --- 主要技术点:

~~~     拉链表。创建、使用与回滚;商品信息表、订单表(周期性事实表;分区表+拉链表)
~~~     宽表(逆规范化):商品分类表、商品地域组织表、订单明细及订单明细宽表(轻度汇总的事实表)

 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

posted on 2022-04-10 14:57  yanqi_vip  阅读(32)  评论(0)    收藏  举报

导航