摘要：
src到ods层数据字段对应关系 实际用的表案例 src层到ods按照数据标准建表工具 日期无穷大为开链状态,日期为某个特定日期为关链状态 阅读全文
posted @ 2024-06-04 00:00
十一vs十一
阅读(25)
评论(0)
推荐(0)
摘要：
表变化频率比较低的表 覆盖 项目中一般是这种场景 数据接入工具 阅读全文
posted @ 2024-06-03 21:57
十一vs十一
阅读(18)
评论(0)
推荐(0)
摘要：
不直接开发hive的API访问速度慢,开放内存Presto的API去hive库查这样快 第一种不安全, 第二种公司内部用比较安全,结构文件落到对方ftp服务器 第三种一般跨网络同步 数据同步任务创建和执行监控 证券案例 阅读全文
posted @ 2024-06-03 21:29
十一vs十一
阅读(14)
评论(0)
推荐(0)
摘要：
第二步比较重要:对现有的数据做抽象,做主题分类 最后一步分析字段比较麻烦,因为有时候数据库字段并没有注释,需要从前台系统插入数据一步步了解 流程图viso自己画,业务系统调研-系统业务人员填写 业务系统调研模板 不需要录入系统的表 调研表的模板 调研字段模板 政府案例 政府三清单模板 政府部门共享交 阅读全文
posted @ 2024-06-03 21:12
十一vs十一
阅读(55)
评论(0)
推荐(0)
摘要：
一、数据质量概述什么是数据质量数据质量差的危害数据质量维度（数据六大评价标准）什么是数据质量测量数据质量测量必须要有目的数据质量测量必须可重复数据质量测量必须可解释什么是数据质量管理二、数据问题根因分析什么是根因分析为什么要进行根因分析产生数据问题的阶段规划设计阶段数据创建阶段数据使用阶段数据老化阶 阅读全文
posted @ 2024-04-25 12:08
十一vs十一
阅读(231)
评论(0)
推荐(0)
摘要：
一、什么是数据模型二、数据模型的类型概念模型概念模型的3个基本要素概念模型的用途逻辑模型逻辑模型的特征逻辑模型的用途物理模型物理模型特征物理模型用途三、什么是数据梳理数据梳理两种流程自上而下梳理数据域梳理数据主题梳理数据实体梳理设计数据模型优缺点自下而上梳理需求分析展现分析逻辑数据建模优缺点四、数据 阅读全文
posted @ 2024-04-25 12:04
十一vs十一
阅读(216)
评论(0)
推荐(0)
摘要：
一、元数据管理概述什么是元数据元数据的3种类型业务元数据技术元数据操作元数据元数据的作用什么是元数据管理元数据管理的目标建立指标解释体系提高数据溯源能力数据质量稽核体系元数据管理的阶段二、元数据管理方法业务目标理解建立企业数据资产目录消除冗余加强数据复用降低因人员流动而导致知识流失的风险提供数据血缘 阅读全文
posted @ 2024-04-25 12:02
十一vs十一
阅读(224)
评论(0)
推荐(0)
摘要：
什么是数据标准 1.数据标准的概念 首先，我们要明白什么是数据标准概念，根据中国通信院的定义：数据标准，是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。 我们可以简单理解，数据标准，就是组织内部各个部门，各个数据相关人，共同使用的一个语言，达成的一个共识。 比如一个部门内部在开会，有人说 阅读全文
posted @ 2024-04-25 11:59
十一vs十一
阅读(188)
评论(0)
推荐(0)
摘要：
什么是数据应用数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助运营人员更好地实现精细化运营、提升运营效率。 从整个大数据架构来看，它处于整个大数据体系的最上层，也就是数据应用层，以我所参与 阅读全文
posted @ 2024-04-21 01:53
十一vs十一
阅读(100)
评论(0)
推荐(0)
摘要：
今天我们来探讨一下关于数据治理的灵魂三问： 1、数据治理治什么，治的是数据吗？ 2、数据治理在哪里治，中台还是后台？ 3、数据治理到底怎么治？ 一、数据治理 治的是“数据”吗？ 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。 阅读全文
posted @ 2024-04-21 01:52
十一vs十一
阅读(247)
评论(0)
推荐(0)
浙公网安备 33010602011771号