3/5数仓面试必看

1. 压缩就用gzip  汇总数据

   

    

   

    TSV

   

    

2. 建表语句

   

    

   

    

   

    

   

    

3. 全量表设计

   

    

   

    null的格式不一样，虽然显示都为空  都用空字符显示

4. 增量表13张 和业务无关的不用拿过来

   

    

   

    

   

    

5. ods数据装载 脚本

   

    i：4 substring方法

6. DIM表的数据源是ods层 如果找不到不能从数据库拿过来，而是设计一个ods表，不断迭代

   

    

   

    

   

    

   

    

   

    

   

    

   

    

   

    

7. 商品维度表建表语句

   

    

   

    

   

    

   

    

   

    

   

    

    

    

   

    

8. CTE写法，提炼出来 方便维护，写SQL

   

    

9. dwd 

   

    

   

    

   

    

   

    

   

    

   

    

10. 首日无法判断历史状态，没办法，折中认为当前全是新增购物

    

     

    

     

    

     

11. ADS层

    

     

    

     

    

     

12. DWS

    

     

    表 1d 7d 30d td 依托ads层 作为中间结果复用

    

     有可能没有DWS层 

    

     纯粹靠经验，靠自己设计，一定要参考ads层

    

     

    

     

    

     

    

     

13. dophlin调度器

    

     

    

     

    

     

    

     

    

     

    

     

    

     

    

     

    

     

    

     

    

     

14. 工作流

    

     

    

     

    

     

    

     重跑整个工作流都会跑，失败重试不一样

    

     

    

     

    

     

    

     

    

     

    

     

    

     在hdfs上创建脚本