摘要：
Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 阅读全文
posted @ 2024-03-29 23:13
十一vs十一
阅读(35)
评论(0)
推荐(0)
摘要：
Kudu的读写原理 一、工作模式 Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下： 每个kudu table按照hash或range分区为多个tablet； 每个tablet中包含一个MemRowSet以及多个DiskRowSet； 每个DiskRowSet包 阅读全文
posted @ 2024-03-29 23:11
十一vs十一
阅读(27)
评论(0)
推荐(0)
摘要：
主题及指标开发 一、主题开发业务流程 二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口 主题及指标开发 一、主题开发业务流程 二、离 阅读全文
posted @ 2024-03-29 22:41
十一vs十一
阅读(28)
评论(0)
推荐(0)
摘要：
工作流调度 一、工作流产生背景 工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的 阅读全文
posted @ 2024-03-29 22:36
十一vs十一
阅读(96)
评论(0)
推荐(0)
摘要：
实时OLAP分析需求 一、背景介绍 在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。 阅读全文
posted @ 2024-03-29 22:28
十一vs十一
阅读(35)
评论(0)
推荐(0)
摘要：
Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据 阅读全文
posted @ 2024-03-29 22:24
十一vs十一
阅读(60)
评论(0)
推荐(0)
摘要：
项目解决方案 一、核心业务流程 1、快递单 2、运单 3、干线运输 二、逻辑架构 三、数据流转 四、项目的技术选型 1、流式处理平台 2、分布式计算平台 3、海量数据存储 五、框架软件版本 六、技术亮点 七、服务器资源规划 项目解决方案 一、核心业务流程 操作步骤 说明 1 客户下单 客户通过微信公 阅读全文
posted @ 2024-03-29 22:17
十一vs十一
阅读(114)
评论(0)
推荐(0)
摘要：
Kudu原理 一、表与schema Kudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含： 列定义（含类型） Primary Key定义（用户指定的若干个列的有序组合） 数据的唯一性，依赖于用户所提供的Primary Key中的Colu 阅读全文
posted @ 2024-03-29 18:48
十一vs十一
阅读(33)
评论(0)
推荐(0)
摘要：
ClickHouse的使用 一、使用Java操作ClickHouse 1、构建maven工程 2、导入依赖 <!-- Clickhouse --> <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clic 阅读全文
posted @ 2024-03-29 17:48
十一vs十一
阅读(261)
评论(0)
推荐(0)
摘要：
目录 ETL实现方案 一、ETL处理流程图 二、为什么使用Kudu作为存储介质 ETL实现方案 一、ETL处理流程图 数据来源： 来自于ogg同步到kafka的物流运输数据 来自于canal同步到kafka的客户关系数据 二、为什么使用Kudu作为存储介质 数据库数据上的快速分析 目前 阅读全文
posted @ 2024-03-29 17:46
十一vs十一
阅读(50)
评论(0)
推荐(0)
浙公网安备 33010602011771号