04 2021 档案

Table API和Flink SQL-函数
摘要：Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 1 系统内置函数 Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。 以下是一些典型函数的举例，全部内置函数，可以参考官网介绍。 比较函 阅读全文
posted @ 2021-04-25 11:40 奇葩兔子 阅读(329) 评论(0) 推荐(1)
Table API和Flink SQL-窗口
摘要：1 常规窗口 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看Table API和SQL中，怎么利用时间字段做窗口操作。 在Table API和SQL中，主要有两种窗口：Group Windows和Over Windows 1.1 分组窗口 分 阅读全文
posted @ 2021-04-25 09:58 奇葩兔子 阅读(263) 评论(0) 推荐(0)
FLINK-启动命令2（Application 模式）
摘要：1. 背景flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法 阅读全文
posted @ 2021-04-23 16:26 奇葩兔子 阅读(8009) 评论(0) 推荐(0)
FLINK-启动命令1（flink on yarn）
摘要：一、Yarn的简介 ResourceManager ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况(目前主要是 CPU 和内存的使用情况)。RM 只接受 NM 的资源回 阅读全文
posted @ 2021-04-22 17:42 奇葩兔子 阅读(9057) 评论(0) 推荐(3)
FLINK-追加模式（toAppendStream）与缩进模式（toRetractStream）的区别
摘要：1.追加模式：只有在动态Table仅通过INSERT更改修改时才能使用此模式，即它仅附加，并且以前发出的结果永远不会更新。 如果更新或删除操作使用追加模式会失败报错 2.缩进模式：始终可以使用此模式。返回值是boolean类型。它用true或false来标记数据的插入和撤回，返回true代表数据插入 阅读全文
posted @ 2021-04-20 11:31 奇葩兔子 阅读(727) 评论(0) 推荐(0)
Table API和Flink SQL
摘要：1.创建表环境 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache 阅读全文
posted @ 2021-04-19 17:56 奇葩兔子 阅读(439) 评论(0) 推荐(0)
FLINK-connectors-Kafka读写
摘要：1.flink读取kafka import java.util.Properties import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ import o 阅读全文
posted @ 2021-04-14 14:46 奇葩兔子 阅读(301) 评论(0) 推荐(0)
FLINK-序列化&反序列化数据-自定义KafkaDeserializationSchema(Java/Scala)
摘要：1.反序列化 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息。话不多说，直接上代码。 一、Scala代码 1.自定义反序列化类： import org.apache.flink.api.common.typeinfo.{TypeHint, TypeInf 阅读全文
posted @ 2021-04-08 16:20 奇葩兔子 阅读(4757) 评论(2) 推荐(0)
ES-索引规范
摘要：必须手动指定分片数。 分片数会影响查询效率。 分两种情况： 数据量大而分片数较少。将影响单分片的查询效率。导致最终查询时间慢。 数据量不大但分片数过多。分片数过多影响聚合效率，也会导致最终查询慢。 不建议使用es的默认分片数（根据es版本的不同，默认分片数为5或者1），不适合实际使用情况。 一般根据 阅读全文
posted @ 2021-04-07 15:59 奇葩兔子 阅读(769) 评论(0) 推荐(0)
ES-常用操作
摘要：1.查询 1.GET /index-name/_search/ { "query": { "bool": { "filter": [ { "range": { "dt": { "gte": "20191112", "lte": "20191112", "format": "yyyyMMdd", "t 阅读全文
posted @ 2021-04-07 15:56 奇葩兔子 阅读(114) 评论(0) 推荐(0)
Hbase-数据备份
摘要：数据备份分类： hbase数据备份分为离线备份和在线备份两大类。 1.离线备份：离线备份对于在线业务不友好（不友好体现在，备份时需要关闭数据库或者禁用表，不能对外提供读写服务，在线业务对数据库的依赖性强，你关闭了或者禁用了，业务执行所需要的数据就取不到了或者写不进去了），所以在0.94之后的版本就弃 阅读全文
posted @ 2021-04-06 17:20 奇葩兔子 阅读(446) 评论(0) 推荐(0)
FLINK-窗口操作符-触发器Trigger
摘要：Trigger作用在WindowStream上，也就是说，trigger是跟随在window()算子之后的。Trigger决定了窗口中的数据何时可以被window function处理， 每一个窗口分配器都有一个默认的触发器，如果默认的触发器不能满足需要，你可以通过调用WindowedStream. 阅读全文
posted @ 2021-04-01 20:16 奇葩兔子 阅读(1889) 评论(0) 推荐(0)
FLINK-Exactly-once (checkpoint 和 savepoint 的使用)
摘要：一、具体操作 要做到 Exactly-once，我们需要开启 Flink 的检查点功能： env.enableCheckpointing(60_000); env.setStateBackend((StateBackend) new FsStateBackend("/tmp/flink/checkp 阅读全文
posted @ 2021-04-01 20:07 奇葩兔子 阅读(1029) 评论(0) 推荐(0)
FLINK-connectors-写入ES6
摘要：1.pom.xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch6_2.11</artifactId> <version>${flink.version}</ver 阅读全文
posted @ 2021-04-01 19:58 奇葩兔子 阅读(803) 评论(0) 推荐(0)
FLINK-connectors-Mysql读写
摘要：一、写入mysql 1.pom.xml <!--写入mysql--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-jdbc_2.11</artifactId> <version>1.11.0</version> 阅读全文
posted @ 2021-04-01 19:43 奇葩兔子 阅读(1403) 评论(0) 推荐(0)