海量数据模型实施方法论

       模型是现实世界实物特征的一种抽象，比如地图，沙盘，气象图或者星象图等。数据模型是实物数据特征的抽象。

一。LDM(逻辑数据模型) 三要素：实体，属性和关系，采用实体-关系模型，用ERwin建模。 模型设计的好坏直接关系到数据的：

-稳定性

-易用性

-查询性能

-存储空间

-维护成本

理想的逻辑数据模型结构应该如下：

   -将相关的主题域进行组合，形成更少的高阶分组。

   -主题域至少应该包含在一个主要主题域里面，达到可重用性。

   -不同行业的主要主题域都不相同

   -真实世界实物的描述，静态实体，以及它们之间动态的关系

   -实体代表一个人，一个组织，概念或者事件

   -属性描述了实体的特征和数据事实

   -它们的关系有一对多，多对一，多对多

   -相关对象的组合（实体，属性和关系）以表达一个特定的业务功能

   -实体可以属于一个或者多个主题域，达到可重用性。

   -一个主题域可以由一个或者多个ER图构成，以表达主要目标的不同方面 统一的逻辑数据模型框架构成：

          -用于管理数据建模的标准和规范

          -用于创建可用于业务功能描述的模型方法论

          -将逻辑数据模型封装到行业逻辑数据模型的方法论

 

二。模型设计流程

  1）信息分析和数据提取

       -了解源业务系统：业务种类和规则

       -源业务系统的关系：数据接口，加工规则，怎样保持一致性

       -了解源数据结构和流向

       -数据概况：数据量，增全量导出方式，数据格式，数据质量

重点讲样本数据检验规则！！：

       - 验证业务规则

       -表间数据关系分析 -每个字段的分析： 字段业务含义，字段取值范围， 字段间有无关联关系， 字段关系是否完整， 数据质量情况（非代码字段的空值，非法值，主键完整性，唯一性，外键完整性）

       -填写样本数据和代码表取值

  2）逻辑模型的设计 目标：

       - 不针对某个特定的应用而设计

       - 以第三范式存放数据，业务发生变化时易于扩展，适应复杂业务情况

       - 稳定性：能够在很长时间（比如5年内）适应和回答不断变化的业务问题

       - 易解释性：使用业务语言设计，易于IT和业务人员进行交流 步骤：

       - 统一业务术语：对重要的业务元素进行统一定义

       - 构建LDM原型框架：确定着数据仓库的数据组织原则和基本形式，也确定着数据仓库的应用范围和应用模式 确定模型设计的主题范围，主题重要的LOGICAL VIEW, 各主题重要的实体，分类和关系，确定各实体的主键和候选键

       - 基于LDM原型框架，进行各主题的详细设计： 创建各主题的实体和属性，尽可能简单，用业务无法二义性解释的语言进行说明 建立各实体的关系，准确体现业务规则 选择主键：逻辑主键或者代理主键 整理相关代码表：

                 -建立主外键关系

                 -定义转化规则：从源系统到LDM的映射，数据类型，业务转换规则，对数据质量差和缺失的数据的业务规则进行补充说明

                 -完善与跟踪： 与技术人员进行讨论：

                 -如果源业务系统的数据与业务描述不对应

                 -如果重要的数据缺失

                 -如果实体之间的关系不正确 与业务人员或者分析师进行讨论：

                 -是否能准确实现业务需求

                 -是否能方便理解 - 重要的业务规则是否得以体现

 3）物理模型的设计： 在逻辑数据模型的框架和原则上，针对系统性能和应用需求进行适当的非范式化的物理模型设计：

与LDM相同点：

        - 主题，实体，属性和关系一致