摘要：
一、简介 数据仓库(Data Warehouse,DW)由两个主要部分构成:首先是一个整合的决策支持数据库,其次是用于收集、清洗、转换、存储来自于各种操作型数据源和外部数据源数据的相关软件程序。两者结合以支持历史的、分析的和商务智能(Business Intelligence,BI)的需求。一个数据 阅读全文
摘要：
一、简介 文档和内容管理是对存储在关系数据库以外的信息的采集、存储、访问以及使用的控制活动。文档和内容管理的侧重点在完整性和访问控制上。因此,它与关系数据库的数据操作管理大致相同。由于多数非结构化数据与存储在结构化文件中的数据和关系数据库有直接关系,管理决策需要在这3个领域保持一致。然而,文档和内容 阅读全文
摘要：
一、简介 数据质量管理是组织变革管理中一项关键的支撑流程。业务重点的变化、公司的业务整合战略,以及并购与合作,都对IT职能提出了更高要求,包括整合数据源,创建一致的数据副本、交互提供数据或整合数据。与遗留系统或B2B系统实现互操作的目标需要通过数据质量管理项目支持。 数据质量与信息质量是同义词,因为 阅读全文
摘要：
一、简介 元数据的定义是“关于数据的数据”，但是其确切含义是什么？元数据与数据的关系就像数据与自然界的关系。数据反映了真实世界的交易、事件、对象和关系，而元数据则反映了数据的交易、事件、对象和关系等。 元数据管理是关于元数据的创建、存储、整合与控制等一整套流程的集合，从而支持基于元数据的相关应用。 阅读全文
摘要：
在vim内复制多行假如复制的行带有#号会导致其他不带#号的行自动加# 解决办法，输入一下命令再粘贴即可 :set paste 阅读全文
摘要：
一、背景 使用Spark操作Iceberg（HiveCataLog的方式），使用Spline-Agent收集Spark作业的血缘。 二、编译 1、下载源码包：https://github.com/AbsaOSS/spline-spark-agent.git 2、经过测试，发现了一些Bug，影响到了S 阅读全文
摘要：
1、设置1天过期时间 cd /usr/local/kafka bin/kafka-configs.sh --zookeeper 192.168.xxx.xxx:2181,192.168.xxx.xxx:2181,192.168.xxx.xxx:2181 --alter --entity-name 主 阅读全文
摘要：
一、资料地址 1、Git地址：https://github.com/alibaba/DataX 2、DataX详细介绍：https://github.com/alibaba/DataX/blob/master/introduction.md/ 3、编译下载：https://github.com/al 阅读全文
摘要：
一、内存布局 1、直观图 2、树状图 二、内存解释 1、Flink使用的内存 （1）JVM堆上内存 说明：堆上内存管理序列化之后的数据，如果需要处理的数据超出了内存限制，则会将部分数据存储到硬盘上。堆上内存在写磁盘或网络传输时至少需要一次内存复制。 a.框架堆上内存Framework Heap Me 阅读全文
摘要：
1、查看磁盘情况 df -h 2、从根目录查找哪个文件夹占用的磁盘最多 du -h --max-depth=1 / 我们发现/usr和/data目录占用最多，先进入/data目录查看 cd /data 查看/data目录下哪个文件夹占用磁盘多 du -sh * 发现/data/kafka占用比较多， 阅读全文