摘要：
KeyedProcessFunction KeyedProcessFunction用来操作KeyedStream。 处理流的每一个元素，输出为0个、1个或者多个元素。 所有的Process Function都继承自RichFunction接口，所以都有open()、close()和getRuntim 阅读全文
posted @ 2021-05-06 16:41
奇葩兔子
阅读(494)
评论(0)
推荐(0)
摘要：
Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 1 系统内置函数 Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。 以下是一些典型函数的举例，全部内置函数，可以参考官网介绍。 比较函 阅读全文
posted @ 2021-04-25 11:40
奇葩兔子
阅读(292)
评论(0)
推荐(1)
摘要：
1 常规窗口 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看Table API和SQL中，怎么利用时间字段做窗口操作。 在Table API和SQL中，主要有两种窗口：Group Windows和Over Windows 1.1 分组窗口 分 阅读全文
posted @ 2021-04-25 09:58
奇葩兔子
阅读(232)
评论(0)
推荐(0)
摘要：
1. 背景flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法 阅读全文
posted @ 2021-04-23 16:26
奇葩兔子
阅读(7812)
评论(0)
推荐(0)
摘要：
一、Yarn的简介 ResourceManager ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况(目前主要是 CPU 和内存的使用情况)。RM 只接受 NM 的资源回 阅读全文
posted @ 2021-04-22 17:42
奇葩兔子
阅读(8971)
评论(0)
推荐(3)
摘要：
1.追加模式：只有在动态Table仅通过INSERT更改修改时才能使用此模式，即它仅附加，并且以前发出的结果永远不会更新。 如果更新或删除操作使用追加模式会失败报错 2.缩进模式：始终可以使用此模式。返回值是boolean类型。它用true或false来标记数据的插入和撤回，返回true代表数据插入 阅读全文
posted @ 2021-04-20 11:31
奇葩兔子
阅读(707)
评论(0)
推荐(0)
摘要：
1.创建表环境 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache 阅读全文
posted @ 2021-04-19 17:56
奇葩兔子
阅读(419)
评论(0)
推荐(0)
摘要：
1.flink读取kafka import java.util.Properties import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ import o 阅读全文
posted @ 2021-04-14 14:46
奇葩兔子
阅读(278)
评论(0)
推荐(0)
摘要：
1.反序列化 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息。话不多说，直接上代码。 一、Scala代码 1.自定义反序列化类： import org.apache.flink.api.common.typeinfo.{TypeHint, TypeInf 阅读全文
posted @ 2021-04-08 16:20
奇葩兔子
阅读(4698)
评论(2)
推荐(0)
浙公网安备 33010602011771号