随笔分类 - 业务
摘要：ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 ETL工具或类ETL的数据集成同步工具或语言，企业生产中工具也非常之多，主流的etl工具有Sqoop、DataX、Ca
阅读全文
摘要：前言： model对于数仓是最核心的东西，数据模型是数据组织和存储方法，模型的好坏，决定了数仓能支撑企业业务多久。 为什么大多数企业，数仓都要重建，这不仅仅是业务拓展、发展迅速，很大一部分是因为模型建的很烂。 01. 基本概念 维度建模，是数据仓库大师Ralph Kimball提出的，是数据仓库工程
阅读全文
摘要：01. 架构演进 离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。 02. 逻辑分层 数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四层架构：ods->dwd->dws-ads，bdl->fdl->gdl
阅读全文
摘要：整个系列的文章从银行数据仓库架构，ETL，模型，数据管理以及几大方面应用介绍了数据仓库，可以让大家对银行数据仓库有个概要的了解，但在各子系统设计，技术方面没有太深入介绍，后续也会陆续补充。作为这个系列文章的最后一节，简单谈谈对银行数据仓库发展的一些想法。 数据仓库作为银行数据中心，在这个大数据时代也
阅读全文
摘要：Teradata天睿公司（纽交所代码：TDC），是美国前十大上市软件公司之一。经过逾30 年的发展，Teradata天睿公司已经成为全球最大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商。其提出一种先进的FS-LDM模型(Financial Services Logcial Data M
阅读全文
摘要：AI应用 人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。随着计算机性能以及深度神经网络技术的发展，大数据概念的普及，AI成了最近几年投资界和互联网的风口，ALPHAGO战胜了柯洁更是AI发展的一个里程
阅读全文
摘要：信用风险 银行的经营风险的机构，那在第15节也提到了巴塞尔新资本协议对于银行风险的计量和监管要求，其中信用风险是银行经营的主要风险之一，它的管理好坏直接影响到银行的经营利润和稳定经营。信用风险是指交易对手未能履行约定契约中的义务而给银行造成经济损失的风险。典型的表现形式包括借款人发生违约或信用等级下
阅读全文
摘要：营销是每个银行业务部门重要的工作任务，银行产品市场竞争激烈，没有好的营销体系是不可能有立足之地，特别是随着互联网金融发展,金融脱媒”已越来越普遍，数字化营销方兴未艾，银行的营销体系近些年也不断发展，从客户经理为主逐步转变为客户经理+互联网营销的模式。在客户经理阶段，银行主要通过CRM系统进行产品销售
阅读全文
摘要：总账系统 在所有公司中，财务分析的基础都是核算，那在银行的系统体系中，核算功能在业务发生时由业务系统如核心、贷款、理财中实现登记，各业务系统会在每天切日后统计当天各机构的核算科目的发生额与余额，并统一送到总账系统，总账系统进行全行会计核算的汇总、调整并每天统计出全银行的资产负债表、利润表和现金流表，
阅读全文
摘要：巴塞尔新资本协议介绍 在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程
阅读全文
摘要：在银行日常经营中，每个部门、分支行随时随地都需要进行数据统计和分析，才能对银行当前业务状况及时了解，以进行后续经营策略、营销活动、风险策略的调整和决策。那在平时进行数据分析时除了各数据应用系统（如各类监管报表系统、财务系统、营销系统等）进行专门的数据加工和操作，主要还有报表和自助分析2种方式来分析数
阅读全文
摘要：1、监管报送概览： 我国各类银行已达到4000家左右，管理着亿万资产，已经成为我国金融体系的重要组成部分，它的稳定运行关乎到国家经济走势，关系到每个居民的生活。那在我国金融体系中，银行的主要管理者有人行和银保监会： （1）中央人民银行是中华人民共和国国务院组成部门。主要职责是制定和执行货币政策，防范
阅读全文
摘要：数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流畅的开发管理流程，还需要有全面的数据管理体系，确保提供的数据准确性和高质量。数据管理主要有数据标准，元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立标准
阅读全文
摘要：数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护，才能保证为全行提供持续完整准确的数据服务。所以数据仓库基本上是全行或全公司版本最多的系统，如何
阅读全文
摘要：建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。 1、汇总指标层模型设计原则及步骤 1.1建设目标： 汇总指标层也叫中间层，他提炼出对ODS具有共性的数据访问、统计需
阅读全文
摘要：在银行主题模型中，每个数据仓库的实施公司会有金融行业或银行业的主题模型，这个模型会根据新的业务不断进行完善，是各实施公司的业务经验积累。一个良好的模型对数据仓库的实施起到了事半功倍的效果，虽然不同的公司会有不同的主题模型产品，但每个公司的产品基本上分为以下几个主题： 1、当事人（PARTY） 是指银
阅读全文
摘要：主数据区域中保留了数据仓库的所有基础数据及历史数据，是数据仓库中最重要的数据区域之一，那主数据区域中主要分为近源模型区和整合（主题）模型区。上一节讲到了模型的设计流程如下图所示。那近源模型层的设计在第2.3和3这两个步骤中相对简化，模型表设计的结构同源系统的表结构，字段也一一映射即可。那下面以整合（
阅读全文
摘要：数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？这里就需要有良好的数据分区和数据模型，那数据分区在第三部分数据架构中已经介绍，本节将介绍如何进行数据模型的设计。 1、各数据分区的模
阅读全文
摘要：调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，为不互相影响可以和交易类系统独立分开，建2套调度环境。 1，调度系统常见架构 上图是一种常见的调度架构，它分为两个
阅读全文
摘要：数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka需要遵循Kafka的使用和设计规范。同时做好组件的设计，提高复用程度和开发效率。这里就不再赘述，那
阅读全文
浙公网安备 33010602011771号