Flink - 随笔分类(第2页) - 小白啊小白，Fighting

Flink Table环境配置、读取外部数据(File、Kafka)以及查询转换

摘要：知识点 FlinkTable步骤： // 1、创建表的执行环境 val tableEnv = ... // 2、创建一张表，用于读取数据 tableEnv.connect(...).createTemporaryTable("inputTable") // 3、1通过 Table API 查询算子，阅读全文

posted @ 2021-01-12 23:10 小白啊小白，Fighting 阅读(2072) 评论(0) 推荐(0)

Flink之Table初探

摘要：知识点 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义 source、transform 和 sink。 1、依赖：Table API 和 SQL 需要引入的依赖 <!-- old planner flink table 阅读全文

posted @ 2021-01-12 23:02 小白啊小白，Fighting 阅读(1926) 评论(0) 推荐(0)

Flink之Watermarks

摘要：1、代码案例 package window import com.yangwj.api.SensorReading import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.a 阅读全文

posted @ 2021-01-11 23:24 小白啊小白，Fighting 阅读(169) 评论(0) 推荐(0)

Flink之ProcessFunction侧输出流

摘要：1、代码案例 package processFunction import com.yangwj.api.SensorReading import org.apache.flink.streaming.api.functions.{ProcessFunction} import org.apache 阅读全文

posted @ 2021-01-11 23:19 小白啊小白，Fighting 阅读(971) 评论(0) 推荐(0)

Flink之Mysql数据CDC

摘要：知识点： https://github.com/ververica/flink-cdc-connectors //官网地址https://blog.csdn.net/u012551524/article/details/108985945 1、依赖 <dependency> <groupId>org 阅读全文

posted @ 2021-01-11 18:51 小白啊小白，Fighting 阅读(6199) 评论(2) 推荐(0)

Flink 之Window(窗口)

摘要：关窗时间情况1：如果存在lateness延迟关窗设置，则关窗时间：最后一条数据event_time - watermark时间 - lateness时间窗口开始计算时间: 当时数据event_time - watermark时间如：latenes:为10分钟；窗口设置为:10分钟，步长为5；阅读全文

posted @ 2021-01-09 10:49 小白啊小白，Fighting 阅读(441) 评论(0) 推荐(0)

Flink之Sink(文件、Kafka、Redis、Es、Mysql)

摘要：提醒: 1、连接kafka，一定要注意依赖版本，否则即使程序启动没有报错，也不会接受到数据 2、kafka依赖除了Flink和kafka的，建议加上kafka-client的依赖，对应版本也需一致 1、连接es，需要使用flink-connector-elasticsearch6_2.11、elas 阅读全文

posted @ 2021-01-06 23:08 小白啊小白，Fighting 阅读(1339) 评论(0) 推荐(0)

Flink 之分流Select与Split

摘要：1、数据格式 sensor_1,1547718199,35.8 sensor_6,1547718201,15.4 sensor_7,1547718202,6.7 sensor_10,1547718205,38.1 sensor_1,1547718206,32 sensor_1,1547718208, 阅读全文

posted @ 2021-01-05 21:19 小白啊小白，Fighting 阅读(537) 评论(0) 推荐(0)

Flink之热门页面统计

摘要：1、数据格式 83.149.9.123 - - 17/05/2020:10:05:03 +0000 GET /presentations/logstash-kafkamonitor-2020/images/kibana-search.png 83.149.9.123 - - 17/05/2020:1 阅读全文

posted @ 2021-01-05 11:49 小白啊小白，Fighting 阅读(288) 评论(0) 推荐(0)

Flink之广告点击黑名单统计

摘要：1、数据格式 543462,1715,北京,北京,1511658000 662867,2244074,广东,广州,1511658060 561558,3611281,广东,深圳,1511658120 894923,1715,北京,北京,1511658180 834377,2244074,上海,上海, 阅读全文

posted @ 2021-01-05 11:47 小白啊小白，Fighting 阅读(257) 评论(0) 推荐(0)

Flink 之布隆过滤器去重统计UV

摘要：1、数据格式 1021615,4355712,15138396,P,1601688552,913d5742-0fd8-46db-bb26-8cf0d09d90da 2178695,12498888,2595117,P,1601688552,3d29d1e2-d514-4991-bd79-9a866a 阅读全文

posted @ 2021-01-05 11:44 小白啊小白，Fighting 阅读(1458) 评论(0) 推荐(0)

Flink 之实时UV(用户浏览次数)统计

摘要：1、数据格式 1021615,4355712,15138396,P,1601688552,913d5742-0fd8-46db-bb26-8cf0d09d90da 2178695,12498888,2595117,P,1601688552,3d29d1e2-d514-4991-bd79-9a866a 阅读全文

posted @ 2021-01-05 11:43 小白啊小白，Fighting 阅读(3055) 评论(0) 推荐(0)

Flink之布隆过滤器

摘要：大数据处理中，用去去重，布隆过滤器十分常见 1、代码 // 定义一个布隆过滤器 class Bloom(size: Long) extends Serializable { //布隆过滤器的默认大小是32M //32 * 1024 * 1024 * 8 //2^5 2^10 2^10 * 2^3 / 阅读全文

posted @ 2021-01-05 11:34 小白啊小白，Fighting 阅读(1349) 评论(0) 推荐(0)

Flink 双流合并之connect Demo3

摘要：1、主类 package towStream /** * @program: demo * @description: ${description} * @author: yang * @create: 2020-12-31 11:39 */ import org.apache.flink.api. 阅读全文

posted @ 2021-01-04 18:54 小白啊小白，Fighting 阅读(184) 评论(0) 推荐(0)

Flink 双流合并之connect Demo2

摘要：1、主类 package towStream /** * @program: demo * @description: ${description} * @author: yang * @create: 2020-12-31 11:39 */ import org.apache.flink.api. 阅读全文

posted @ 2021-01-04 18:52 小白啊小白，Fighting 阅读(165) 评论(0) 推荐(0)

Flink 双流合并之connect Demo1

摘要：1、主类 package towStream /** * @program: demo * @description: ${description} * @author: yang * @create: 2020-12-31 11:39 */ import org.apache.flink.api. 阅读全文

posted @ 2021-01-04 11:50 小白啊小白，Fighting 阅读(473) 评论(0) 推荐(0)

Flink 双流合并Join

摘要：知识点：如果同一批流中有多个相同的id，Flink的双流Join是左连接形式参考博客: https://blog.csdn.net/dafei1288/article/details/98919202 https://cloud.tencent.com/developer/article/159 阅读全文

posted @ 2021-01-04 11:26 小白啊小白，Fighting 阅读(793) 评论(0) 推荐(0)

Flink状态保存CheckPoint

摘要：知识点：一致性：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/guarantees.html env.setStateBackend( new FsStateBackend("hdfs://u 阅读全文

posted @ 2021-01-04 10:48 小白啊小白，Fighting 阅读(987) 评论(0) 推荐(0)

Flink状态之OperatorState

摘要：知识点： Flink 为算子状态(operator state)提供三种基本数据结构：  列表状态（List state）: 将状态表示为一组数据的列表。  联合列表状态（Union list state）: 也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保存点（s 阅读全文

posted @ 2021-01-04 10:47 小白啊小白，Fighting 阅读(2136) 评论(0) 推荐(0)

Flink状态之AggregateState

摘要：1、主类 package com.example.demo.flink; import com.example.demo.flink.impl.CountAverageWithAggregateState; import com.example.demo.flink.impl.CountAverag 阅读全文

posted @ 2021-01-04 10:45 小白啊小白，Fighting 阅读(894) 评论(0) 推荐(0)

小白

随笔分类 - Flink

公告