随笔分类 - Flink
摘要：转自：https://www.cnblogs.com/dtmobile-ksw/p/11988132.html 安装Flink standalone集群 1.下载flink https://flink.apache.org/downloads.html 2.官网参考 https://ci.apach
阅读全文
摘要：转自：https://www.cnblogs.com/nicekk/p/11561836.html 一、概述 Flink 整个系统主要由两个组件组成，分别为 JobManager 和 TaskManager，Flink 架构也遵循 Master - Slave 架构设计原则，JobManager 为
阅读全文
摘要：转自： https://www.jianshu.com/p/5b670d524fa5 答案写在最前面：Job的最大并行度除以每个TaskManager分配的任务槽数。 问题 在Flink 1.5 Release Notes中，有这样一段话，直接上截图。 这说明从1.5版本开始，Flink on YA
阅读全文
摘要：转自：https://blog.csdn.net/a_drjiaoda/article/details/88203323 Flink on Yarn模式部署始末：Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式
阅读全文
摘要：原文链接：https://blog.csdn.net/a_drjiaoda/article/details/88037282 前言：Flink的运行一般分为三种模式，即local、Standalone、On Yarn。 在安装Flink之前，需要对安装环境进行检查。本文是建立在Hadoop、Zook
阅读全文
摘要：转自：https://www.jianshu.com/p/3598f23031e6 简介 Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job，调
阅读全文
摘要：需求 （filter）： 现在有这么一个需求，统计出现在纽约的行车记录。这里我们需要进行一个过滤的操作，我们需要有个自定义的 UDF ，具体思路是，表里面有经度和维度这两个字段，通过这个可以来开发一个是否在纽约的 UDF。
阅读全文
摘要：转自： https://www.cnblogs.com/Springmoon-venn/p/10570056.html 先上代码： 直接上报错信息： 报错信息是找不到合适的table factory，查询报错类TableFactoryService.scala 源码214行（报错信息中报错位置） 主
阅读全文
摘要：本文会主要讲三种udf： ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。 注册用户自定义函数 在大多
阅读全文
摘要：转自：https://blog.csdn.net/xianpanjia4616/article/details/86375224 最少一次：断了之后 重新执行 再去重 严格一次：根据检查点，再执行一次 Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时
阅读全文
浙公网安备 33010602011771号