07 2021 档案

解密华为数据之道总结
摘要：总结石头大佬对于华为数据之道的解密文章，基于当下视角回顾华为数据管理的偶然和必然。本文梳理的原始素材来源于“ 数据不能承受之重”公众号的“解密华为数据之道”主题。 经典语言总结： 要求我按照“原教旨主义”的原则，找出该方案的本源依据，在工作中，不仅仅是提出解决问题的方案，还需要探究答案背后的逻辑。 阅读全文
posted @ 2021-07-26 23:41 后山前堂客 阅读(1291) 评论(0) 推荐(0)
Hbase总结1
摘要：特点： 分布式、可扩展、支持海量数据存储的NoSQL数据库，可以支持海量数据的秒级别查询 逻辑结构： 列族 列 rowkey region：类似关系型数据库的表，是hbase表的横向切片。hbase定义表时，只需要声明列族，不需要声明具体的列。写入数据时可以按需在一个列族中动态扩展列。 store： 阅读全文
posted @ 2021-07-21 20:07 后山前堂客 阅读(78) 评论(0) 推荐(0)
基于Yarn的MR任务运行过程中的资源管理
摘要：Yarn主要负责集群的资源管理，以便于在一个集群中运行多种计算框架的任务，比如MR，Spark，Flink等 Yarn主要包括两个组件： ResourceManager： 负责全局资源管理，简称RM 包括Application Manager（AppManager，负责App master管理） 和 阅读全文
posted @ 2021-07-21 11:26 后山前堂客 阅读(352) 评论(0) 推荐(0)
基于项目的数据认责实施指引
摘要：1. 数据认责的定义 明确数据价值链上相关参与方及其职责，包括责任的认清（明确责任边界）和认领（对数据问题负责，尤其是数据质量问题）。 2. 数据认责的原因 数据的质量问题驱动数据认责，包括两个方面： Ø 当前数据质量问题解决：需要确定明确的角色和个人/组织，来认领该责任； Ø 数据质量的长期保障： 阅读全文
posted @ 2021-07-19 13:57 后山前堂客 阅读(2141) 评论(0) 推荐(0)
DAMA、DCMM、华为数据治理宏观对比
摘要：TODO DMBOK2 P36 数据伦理 - 数据伦理风险 - 转换和继承数据 < > 华为数据之道 P103 数据入湖6个标准 阅读全文
posted @ 2021-07-19 11:19 后山前堂客 阅读(1138) 评论(0) 推荐(0)
政务数据资源目录建设思路
摘要：一、数据资源目录定义 政务数据资源是指政务机构在履行职能过程中产生或使用的信息，是体现了政务活动的运作过程及结果的、有使用价值的各种信息集合。政务数据资源包括如下三种： 1） 政务部门为履行国家行政事务的职责而采集、加工、使用的数据资源 2） 政务部门在业务过程中产生和生成的数据资源 3） 政务部门 阅读全文
posted @ 2021-07-19 07:23 后山前堂客 阅读(3603) 评论(0) 推荐(0)
数据资源目录建设
摘要：元数据领域的一个具体的应用实践，主要工作有如下几项： 数据治理产品的元数据管理模块，一般需要具备如下功能： 【产品】元数据采集，并可以适配不同类型的数据源，不仅仅是数据仓库 【产品】数据目录编排，可以根据具体行业或场景自定义编排数据目录的层级结构 【产品】一键全局搜索，搜到数据并且数据可理解 数据目 阅读全文
posted @ 2021-07-18 21:10 后山前堂客 阅读(1430) 评论(0) 推荐(0)
MacBook 或者 Windows电脑录屏指导
摘要：Mac 电脑操作手册 1. 找到自带软件 QuickTime，如图，打开 2. 点击文件 >> 新建屏幕录制 3. 点击选项选择耳机 or 内置麦克风 4. 点击选择录制整个屏幕，单击任意处开始录屏 5. 打开 PPT 全屏播放讲解 6. 讲课结束停止录制 7. 保存视频 Windows 电脑录屏操 阅读全文
posted @ 2021-07-02 15:13 后山前堂客 阅读(659) 评论(0) 推荐(0)