摘要：
### Window(窗口) Flink 认为 批处理 是 流处理 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。 通常来讲，Window是一种可以把无界数据切割为有界数据块的手段 例如，对流中的所有元素进行计 阅读全文
posted @ 2023-06-03 11:37
strongmore
阅读(624)
评论(0)
推荐(0)
摘要：
### Table API & SQL 注意：Table API 和 SQL 现在还处于活跃开发阶段，还没有完全实现Flink中所有的特性。不是所有的 [Table API，SQL] 和 [流，批] 的组合都是支持的。 Table API和SQL的由来： Flink针对标准的流处理和批处理提供了两种 阅读全文
posted @ 2023-06-03 11:30
strongmore
阅读(506)
评论(0)
推荐(0)
摘要：
### DataSet API DataSet API主要可以分为3块来分析：DataSource、Transformation、Sink。 DataSource是程序的数据源输入。 Transformation是具体的操作，它对一个或多个输入数据源进行计算处理，例如map、flatMap、filt 阅读全文
posted @ 2023-06-03 11:23
strongmore
阅读(179)
评论(0)
推荐(0)
摘要：
 Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前 阅读全文
posted @ 2023-06-03 11:10
strongmore
阅读(211)
评论(0)
推荐(0)
摘要：
### Flink集群安装部署 Flink支持多种安装部署方式 - Standalone - ON YARN - Mesos、Kubernetes、AWS… 这些安装方式我们主要讲一下standalone和on yarn。 如果是一个独立环境的话，可能会用到standalone集群模式。 在生产环境 阅读全文
posted @ 2023-06-03 09:54
strongmore
阅读(466)
评论(0)
推荐(0)
摘要：
### 什么是Flink Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。 分布式：表示flink程序可以运行在很多台机器上， 高性能：表示Flink处理性能比较高 高可用：表示flink支持程序的自动重启机制。 准确的：表示flink可以保证处理数据的准确性。 Fl 阅读全文
posted @ 2023-06-03 09:46
strongmore
阅读(479)
评论(0)
推荐(0)
摘要：
针对数据仓库中的任务脚本我们前面已经整理过了，任务脚本还是比较多的，针对初始化表的脚本只需要执行一次即可，其它的脚本需要每天都执行一次，这个时候就需要涉及到任务定时调度了。 ### Crontab调度器的使用 我们前面在学习Linux的时候学过一个crontab调度器，通过它可以实现定时执行指定的脚 阅读全文
posted @ 2023-06-03 09:35
strongmore
阅读(596)
评论(0)
推荐(0)
摘要：
### 前言 数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。 我们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。 所以我们可以考虑使用Zeppelin，Zeppelin是一个Apache的孵化项目.一个 阅读全文
posted @ 2023-06-03 08:53
strongmore
阅读(206)
评论(0)
推荐(0)
摘要：
### 什么是拉链表 针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。 所以这种表，一般使用增量的方式，每日采集新增的数据。 在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支 阅读全文
posted @ 2023-06-03 08:19
strongmore
阅读(517)
评论(0)
推荐(0)
摘要：
### ods 层 在 ods_mall 中需要创建以下针对商品订单数据的表 ```txt 表名 说明 导入方式 ods_user 用户信息表 全量 ods_user_extend 用户扩展表 全量 ods_user_addr 用户收货地址表 全量 ods_goods_info 商品信息表 全量 o 阅读全文
posted @ 2023-06-03 08:17
strongmore
阅读(208)
评论(0)
推荐(0)
浙公网安备 33010602011771号