随笔分类 - Flink
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念：滑动窗口有两个参数，窗口大小20和滑动大小6，6秒滑一次，统计近20秒数据 前言：滚动窗口一个时间传参，滑动窗口两个时间传参 window算子用做有keyBy情况，没有使用key
阅读全文
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、 代码 前言：window用作有keyBy情况，前面没有使用keyBy的话用windowAll，并行度会慢 package net.xdclass.class10; import java.
阅读全文
摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 package net.xdclass.class9; import java.util.Date; import org.apache.flink.api.common.Runtim
阅读全文
摘要：一、依赖 参考博文：https://www.cnblogs.com/robots2/p/16048648.html 二、代码 package net.xdclass.class9; import java.util.Date; import org.apache.flink.api.common.R
阅读全文
摘要：一、导入依赖 参考本人下博客 二、代码 FLink11FilterApp.java package net.xdclass.class9; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink
阅读全文
摘要：一、窗口介绍 1.1 Window：时间窗口 滚动窗口（Tumbling Window）将事件拆分成固定长度，窗口之间不重叠，窗口长度固定 例：每10s统计过去10s订单数据 滑动窗口（Sliding Window）按照滑动步长拆分成固定长度，窗口长度固定。根据指定步长（Slide）向前滑动，步长小
阅读全文
摘要：一、数据源配置 pom文件：https://www.cnblogs.com/robots2/p/16048648.html 二、RichFlatMap代码，输入单行输出多行 package net.xdclass.class9.app; import org.apache.flink.api.com
阅读全文
摘要：一、依赖配置 pom文件：https://www.cnblogs.com/robots2/p/16048648.html kafka单机版安装：https://www.cnblogs.com/robots2/p/15797379.html 其它信息看我的博客 二、Flink代码 package ne
阅读全文
摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、自定义sink 2.1 自定义sink package net.xdclass.class6.sink; import org.apache.flink.api.java.tuple.
阅读全文
摘要：一、自定义生产数据 https://www.cnblogs.com/robots2/p/16048729.html 二、生产转化数据，导出到mysql 2.1 建表语句 CREATE TABLE `video_order` ( `id` int(11) unsigned NOT NULL AUTO_
阅读全文
摘要：一、代码模板 VideoOrder.java package net.xdclass.model; import java.util.Date; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsCon
阅读全文
摘要：一、pom文件 https://www.cnblogs.com/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R
阅读全文
摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc
阅读全文
摘要：一、Flink运行部署模式和流程 部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境 运行流程 1
阅读全文
摘要：一、异常截图 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 46,912,998 milliseconds ago.
阅读全文
摘要：一、简单案例 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
阅读全文
摘要：一、pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance
阅读全文
摘要：一、导入项目，添加jar包 右键项目=》open module setting 选择Flink1.9的lib目录下flink-dist_2.11-1.9.2.jar包（对应运行版本） 保存即可。 二、运行时指定main方法参数
阅读全文
摘要：一、Flink底层通信技术 Akka + Netty Akka：它是基于协程的，基于scala的偏函数 Netty：相比更加基础一点，可以为不同的应用层通信协议（RPC，FTP，HTTP等）提供支持 1.1 Akka 简介，Flink叫 XXXGateWay 组件介绍 （1）ActorSystem
阅读全文
摘要：一、内存Job管理模式yarn-per-job 使用介绍：常用的模式 二、内存集中管理模式yarn-session 使用介绍：当作业很少并且都较小，能快速执行完成时，可以使用。否则一般不会使用该模式 第一步：yarn-session.sh(开辟资源) 第二步：flink run（提交任务）
阅读全文
浙公网安备 33010602011771号