摘要：
🌐数据治理是一个综合性的概念，它是指组织或企业如何管理、维护、保护和优化其数据资产的过程。数据治理包括数据策略、数据管理、数据质量、数据安全、数据架构、数据流程和数据文化等方面。1️⃣数据策略是指制定数据治理的目标、原则和规范，以确保数据的质量和价值；2️⃣数据管理是指对数据进行收集、存储、处理和 阅读全文
posted @ 2024-04-20 14:06
十一vs十一
阅读(68)
评论(0)
推荐(0)
摘要：
数据治理对于企业来说至关重要。它可以帮助企业清晰地了解自己的数据资源、数据流和数据质量。通过有效的数据治理，企业能够更好地管理和控制数据，最大化数据的价值，并在决策过程中减少错误和风险。 数据治理的步骤及原则 数据收集和整合 数据治理的第一步是收集和整合数据。这包括从不同的系统和部门中收集数据，然后 阅读全文
posted @ 2024-04-18 19:05
十一vs十一
阅读(53)
评论(0)
推荐(0)
摘要：
一、什么是ClickHouse？ ClickHouse由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++,ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop、Spark这些巨无霸组件相比，ClickHouse很轻量 阅读全文
posted @ 2024-04-02 23:03
十一vs十一
阅读(88)
评论(0)
推荐(0)
摘要：
一.大数据模型 8种常见的大数据分析模型：1、留存分析模型；2、漏斗分析模型；3、全行为路径分析；4、热图分析模型；5、事件分析模型；6、用户分群模型；7、用户分析模型；8、黏性分析模型。 1、留存分析模型 留存分析模型是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少 阅读全文
posted @ 2024-03-31 22:59
十一vs十一
阅读(379)
评论(0)
推荐(0)
摘要：
Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的K 阅读全文
posted @ 2024-03-30 00:36
十一vs十一
阅读(22)
评论(0)
推荐(0)
摘要：
ClickHouse的深入了解 一、介绍 ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS） ClickHouse采用 C++ 语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库 ClickHouse集群的每台服务器每秒能 阅读全文
posted @ 2024-03-30 00:34
十一vs十一
阅读(95)
评论(0)
推荐(0)
摘要：
Spark操作Kudu DML操作 Kudu支持许多DML类型的操作，其中一些操作包含在Spark on Kudu集成. 包括： INSERT - 将DataFrame的行插入Kudu表。请注意，虽然API完全支持INSERT，但不鼓励在Spark中使用它。 使用INSERT是有风险的，因为Spar 阅读全文
posted @ 2024-03-30 00:29
十一vs十一
阅读(13)
评论(0)
推荐(0)
摘要：
Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除） 本地Kudu RDD Native Kudu数据源，用于DataFrame集成 从kudu读取数据 从Kudu执行插入/更新/ upsert /删除 谓词下推 Kudu和Spark SQL之间的模式映射 到目前为 阅读全文
posted @ 2024-03-30 00:29
十一vs十一
阅读(44)
评论(0)
推荐(0)
摘要：
ClickHouse的ReplacingMergeTree深入了解 为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。 删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且 阅读全文
posted @ 2024-03-29 23:24
十一vs十一
阅读(1010)
评论(0)
推荐(0)
摘要：
数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6 阅读全文
posted @ 2024-03-29 23:17
十一vs十一
阅读(268)
评论(0)
推荐(0)
浙公网安备 33010602011771号