随笔分类 -  数据中台

摘要：发展4阶段：企业级数仓(2000-2018)→湖仓一体(2019-2023)→智能数据中枢(2022-2025)→实时语义层(2024-) 两大体系架构：六横两纵（来源/支撑/存储/分析/应用/治理+开发运维/数据管控）；四横两纵（采集/底座/服务/应用+开发运维/数据管控） 一、数据架构规划与设计 阅读全文

摘要：背景 数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。 数仓架构的原则： 1、底层业务的数据驱动为导向同时结合业务需求驱动2、便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层3、底层业务变动与上层需求变动对模型冲击最小化业务系 阅读全文

摘要：引用： https://zhuanlan.zhihu.com/p/111979066 1 维度表的定义 在维度建模中，通常将指标的度量称之为“事实”，将产生度量的环境称之为“维度”。将描述同一个业务实体的的多个维度列组合在一起，就是常说的“维度表”。维度表是用户分析数据的窗口，其提供了事件发生过程中 阅读全文

摘要：基本概念 业务板块：业务板块定义了数据仓库的多种命名空间，是一种系统级的概念对象。当数据的业务含义存在较大差异时，您可以创建不同的业务板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照业务板块进行划分。在Dataphin中，项目可以归属至业务板块以实现规范建模功能，同一个业务板块中可能包含多 阅读全文

摘要：行业数据模型概述 分层数据模型 行业业务流程 行业主题域模型。在数据中台，主题对应一个宏观的分析领域，比如销售分析就是分析“销售”这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（是个左右不等）主题域组成的主题域模型。 概念模型。在主题域的基础上，每个主题域内增加了实体以及 阅读全文