随笔分类 -  数据仓库

专业做BI数据分析，与大家共享BI领域分析经验！
数据仓库系列之ETL中常见的增量抽取方式
摘要：为了实现数据仓库中的更加高效的数据处理，今天和小黎子一起来探讨ETL系统中的增量抽取方式。增量抽取是数据仓库ETL(数据的抽取（extraction）、转换（transformation）和装载（loading）)实施过程中需要重点考虑的问题。ETL抽取数据的过程中，增量抽取的效率和可行性是决定ET 阅读全文
posted @ 2021-04-05 18:13 黄昏前黎明后 阅读(970) 评论(4) 推荐(0)
数据分析你需要知道的操作：ETL和ELT
摘要：如果您接触过数据仓库, 您可能会使用 ETL (Extract、 Transform、 Load) 或 ELT ( Extract、Load、 Transform) 将您的数据从不同的来源提取到数据仓库中。这些是移动数据或集成数据的常用方法, 以便您可以关联来自不同来源的信息, 将数据安全地存储在一 阅读全文
posted @ 2020-03-08 21:26 黄昏前黎明后 阅读(1868) 评论(0) 推荐(0)
数据仓库系列之关于数据仓库自动化技术
摘要：目前市面上的BI工具都在提及敏捷BI解决方案。敏捷BI解决方案所提供的自动化技术支持主要是从数据源取数到BI前端工具展现。这样的敏捷BI解决方案在企业数据量不是很庞大的情况下，还是很好的支撑运行。PowerBI可以支持大量的数据处理，但是对于硬件设备的要求也是非常高的。但是数据量变得越来越庞大就会导 阅读全文
posted @ 2019-09-01 17:16 黄昏前黎明后 阅读(1590) 评论(2) 推荐(0)
数据仓库系列之数据质量管理
摘要：数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。 一、数据质量 数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数 阅读全文
posted @ 2019-08-27 19:08 黄昏前黎明后 阅读(6655) 评论(0) 推荐(0)
数据仓库系列之元数据管理
摘要：元数据（Meta Data），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库 阅读全文
posted @ 2019-08-25 18:31 黄昏前黎明后 阅读(3788) 评论(0) 推荐(0)
数据仓库系列之总线架构
摘要：总线架构是数据仓库建设的总体规划，从整体视角描述了解决方案的维度模型，描述了各个子系统的功能以及关系，描述数据从源系统到决策系统的数据流程，提供建立企业数据仓库系统的增量式方法。业务需求回答了要做什么，总线架构就是回答怎么做的问题。 一、整体解决方案架构： 数据仓库的核心功能从源系统抽取数据，通过清 阅读全文
posted @ 2019-08-22 18:28 黄昏前黎明后 阅读(5303) 评论(0) 推荐(1)
数据仓库系列之ETL过程和ETL工具
摘要：上周因为在处理很多数据源集成的事情一直没有更新系列文章，在这周后开始规律更新。在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素，在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。 一、什么是ETL？ 构建数据仓库的核心是建模，在数据仓库的构建中，ETL贯穿于项目始终，它 阅读全文
posted @ 2019-08-20 18:38 黄昏前黎明后 阅读(21890) 评论(0) 推荐(1)
数据仓库系列之维度建模二
摘要：在上一篇文章中我们简单介绍了什么是维度建模以及维度建模的基本要素，这篇文章中我们依然学习了解维度建模中的基本要素事实表和维度表的类型以及维度设计方法。首先里了解维度建模中的事实表类型，在依次介绍维度类型，一致性维度和一致性事实，维度设计方法。接下来进入正题。 一、事实表 事实表存储了从业务活动或事件 阅读全文
posted @ 2019-08-13 21:27 黄昏前黎明后 阅读(3429) 评论(0) 推荐(0)
数据仓库系列之维度建模
摘要：上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库，从本周开始我们开始一起学习数据仓库。学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展， 阅读全文
posted @ 2019-08-11 19:24 黄昏前黎明后 阅读(18796) 评论(0) 推荐(0)
为什么数据分析中要建数据仓库？
摘要：最近在博客园上看到一篇文章，关于数据仓库建设相关的。以前做项目一直通过PowerQuery进行数据加工处理，再使用PowerBI Desktop进行数据分析展现，没有单独构建数据仓库的概念。通过这个文章找到中软易通官网，了解一些免费的ETL工具介绍和视频后发现原来通过ETL工具建立数据仓库确实可以比 阅读全文
posted @ 2019-08-06 20:22 黄昏前黎明后 阅读(4683) 评论(4) 推荐(0)
事实表，维度，度量，指标之间的关系
摘要：事实表：每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如销售商品所产生的数据，与软件中实际表概念一样 维度：说明数据，维度是指可指定不同值的对象的描述性属性或特征。例如，地理位置的维度可以包括“纬度”、“经度”或“城市名称”。“城市名称”维度的值可以为“旧金山”、“柏林” 阅读全文
posted @ 2016-10-21 00:21 黄昏前黎明后 阅读(20657) 评论(0) 推荐(2)