杂

一、知识盲区

1）DDD

      极客时间  <DDD 实战课> 

2）流式技术

3）大模型

      1、spring ai

             基于 Spring AI 的 MCP 客户端/服务端架构指南

      

 

二、项目经验

1）图平台

     1、主要业务场景

     2、核心技术

 

2）

 

三、技术点

1）数据一致性

　　1、分布式事务

　　2、数据最终一致性：如何实现？

 

四、数仓

1）数仓分成

ODS层（Application Data Store，又称：RAW层）：存储贴源的原始数据；
DWD层（Data Warehouse Detail）：数仓明细层，存储清洗、加密、标准化、集成及主题划分后的明细数据，加密动作在DWD层进行
DWS层（Data Warehouse Service）：数仓萃取层，存储以共性为主轻度的汇总数据，以分析的主题对象作为建模驱动，构建企业级公共粒度的汇总表
ADS层（Application Data Store）：应用数据服务层，存储面向特定业务/数据应用/数据，满足业务及应用系统数据需求

2）依赖关系

作业类型	说明	输入源	输出源
HIVE to ADS	适用于建设数仓中的应用数据服务层，存储面向特定业务/数据应用/数据，满足业务及应用系统数据需求	DWD层/DWS层/ADS层	ADS层
HIVE to DWD	适用于建设数仓中的明细层，存储清洗、加密、标准化、集成及主题划分后的明细数据	RAW层/DWD层	DWD层
HIVE to DWS	适用于建设数仓中的萃取层，存储以共性为主轻度的汇总数据，以分析的主题对象作为建模驱动，构建企业级公共粒度的汇总表	DWD层/DWS层	DWS层
出仓作业	RAW层数据不可直接出仓	DWD层/DWS层/ADS层	非HIVE数据源