摘要： 机器学习可以简单解释为使用一些算法从数据中分析出某种规律，然后利用这一规律对未知数据进行预测，所以机器学习不是手动编写某种程序去完成一个任务，而是使用大量的数据和算法来“训练”机器，让机器通过“学习”具备执行某项任务的能力。 数据挖掘则可以认为是机器学习的代名词，数据挖掘用到的算法基本上都是机器学习 阅读全文

摘要： 我们对数据进行分类至少有两个主要目的，一个是便于查找和统计分析，另一个是便于对事物认知。从数据的角度来讲，枚举数据、参照数据都可以被理解为分类属性。比如，“人员”数据中的“性别”属性，是一个枚举数据。“人员”数据中的“岗位”属性则是一个参照数据。 数据的分类属性要遵循三个基本原则。 第一，单一视角。 阅读全文

摘要： 我们从以下几个维度对数据质量问题进行描述。 1.准确性 数据与客观实际要相符，即使数据项为空，也尽量不提供错误或者失真的数据。 2.合理性 数据要符合数据模型的定义和描述，且与常理不相违背。 3.一致性 如果同一个数据存在多处存储，那么数据及数据内容需要保持一致。 4.重复性 在同一个存储区域内，同 阅读全文

摘要： 数据模型开发规范 数据模型的公共层设计要遵循维度建模的思想和理念。数据模型的维度设计主要以维度建模理论为基础，基于维度数据模型总线架构，构建一致性的维度和事实。数据模型开发的基本原则如下。 1.数据要干净、有效 要保证进入数据模型的数据是经过清洗和规范的。 2.模型可扩展 核心模型要尽可能保持稳定， 阅读全文

摘要： 数据中台数据模型架构设计采用分层设计思路，将数据分为ODS(操作数据存储)层、CDM(公共维度模型)层、ADS(应用数据)层。 1.ODS层 ODS 层是从业务系统过渡到数据仓库核心层的操作数据的存储层、ODS 层的数据结构与业务系统基本保持一致，同时不做长时间的数据存储。 2.CDM层 CDM层可 阅读全文