数仓

数仓概念

数据仓库其他相似项目

报表平台
数据平台
数据中心

特点

数据仓库通常是一个面向主题的,集成的,随时间变化的,但信息本身相对稳定的数据集合
它用于对管理决策过程的支持

面向主题的:

客户决策时所关心的重点方面.如:风险主题,客户主题,财务主题,渠道主题

集成的:

数据库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工,整理和汇总的过程,供分析使用

随时间变化的

数据仓库内的信息并不只是反应企业当前的状态,而是记录了从过去某一时间点到当前各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测

数据质量:

准确性,完整性,高效性

效率足够高

数据仓库的分析数据一般分为日,周,月,季,年等,
日为周期的数据要求的效率最高,要求24小时甚至12小时内
目前普遍的数据展现方式为T+1,即当日处理昨日的业务数据
M+1也比较常见,即当月处理上月的业务数据

扩展性

要考虑到未来3-5年的扩展性

名词解释

数据仓库技术

DW
Data Warehousing
数据整合,集成各系统的历史数据,建立面向主题的企业数据中心

在线分析处理技术

OLAP
Online Analytical Processing
数据分析,
灵活,动态,快速的多维分析,随机查询,即席报表

数据挖掘技术

DM
Data Miniug
知识发现
通过数学模型发现隐藏的,潜在的规律,以辅助决策

OLAP和OLTP的含义和区别

数据处理大致可以分成两大类
联机事务处理
OLTP
on-line transaction processing

联机分析处理
OLAP
on-line analytical Processing

• OLTP是传统的关系型数据库的主要应用,主要是基本的,日常的事务处理,例如用银行交易

• OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果

	OLTP	OLAP
用户	操作人员,底层管理人员	决策人员,高级管理人员
功能	日常操作处理	分析决策
DB设计	面向应用	面向主题
数据	当前的,最新的细节的,二维的分立的	历史的,聚焦的,多维的集成的,统一的
存取	读/写数十条记录	读上百万条记录
DB大小	100MB~GB	达到TB级别
时间要求	具有实时性	对时间的要求不严格
主要应用	数据库	数据仓库

数仓架构

总体架构

逻辑架构

应用层

汇总层/主题层

FDM基础层

ODS层/缓冲层/标准化层

贴源层/导入层

源

源

常见源系统

核心系统

贷款

公积金

商业

扶贫

棚改

存款

财务

中间业务

资金

反洗钱

客户管理

有时还会需要一些外围数据

其他

征信系统

犯罪系统

标准化层

清洗数据
标准化数据格式(名称,类型,长度)

基础层分类

(集成)
按照一定的业务逻辑分类,将数据分类,形成基础数据
加工数据,汇总数据
客户,存款,贷款,银行卡,总账

主题层/汇总层

主题,根据客户需求,提炼基础数据
汇总,按照一定维度(时间,地域),汇总基础数据

分层的目的

便于维护
便于扩展

业务人员查看数据

新建用户,查看视图

技术架构

源-->帖源层
ETL工具:datastage,lettle,informatica,odi+ogg采集

标准化层
where,正则表达式

基础层/主题层
集成数据:存储过程sp,etl工具,shell脚本,hive脚本

应用层
报表,BI工具
Cognos,帆软,mistr,永宏,润乾

口述

本次汇报的内容是xx银行数据仓库架构图
本项目分为6层来开发
分别是数据源,也就是我们的上游系统
然后有中间服务器,就是文件传输的服务器
然后是ODS层,也就是我们的标准化层
也叫贴源层
然后就是基础层
再往后就是根据维度的汇总层
再往上就是根据需求来做的一些应用,为下游系统提供数据

---

具体实施内容是
采集原系统,有核心业务系统,ECIF客户系统,国际结算系统,还有信贷管理系统,目前来看这四个系统足够了,如果还有其他别的需求,我们还可以再接入其他系统

我们通过文件的形式导入到我们的ODS层,导入的同时我们做了文件的备份

在ODS层做了一些标准化的处理
然后我们根据客户的需求来分了几个业务来做大的分类,有客户,存款,贷款,银行卡,总账,中间业务,渠道,公共

然后我们又根据您的需求,做了一些维度的汇总
按照客户汇总,账户汇总,币种汇总,时间汇总,机构汇总

最后我们可以为下游系统提供数据支撑的,有1104系统,也为驾驶舱提供数据支撑服务