合集-flink1.18.x 开发常用代码案例模板

Flink1.18环境代码编写
摘要：package com.xiaohu.env; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; import 阅读全文
posted @ 2025-02-26 20:18 Xiaohu_BigData 阅读(43) 评论(0) 推荐(0)
Flink1.18传统批处理代码编写
摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.ExecutionEnvironment; import org 阅读全文
posted @ 2025-02-26 20:18 Xiaohu_BigData 阅读(27) 评论(0) 推荐(0)
flink1.18传统流处理环境编写
摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.functions.KeySelector; import or 阅读全文
posted @ 2025-02-26 20:19 Xiaohu_BigData 阅读(24) 评论(0) 推荐(0)
flink1.18流批一体DataStream代码编写
摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.functions.KeySelector; import or 阅读全文
posted @ 2025-02-26 20:20 Xiaohu_BigData 阅读(50) 评论(0) 推荐(0)
Flink1.18 Source - FileSource
摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.connector.file.src.FileSource; impo 阅读全文
posted @ 2025-02-26 20:21 Xiaohu_BigData 阅读(39) 评论(0) 推荐(0)
Flink1.18 Source - fromElements
摘要：package com.xiaohu.source; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.Stream 阅读全文
posted @ 2025-02-26 20:21 Xiaohu_BigData 阅读(21) 评论(0) 推荐(0)
Flink1.18 Source - KafkaSource
摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStri 阅读全文
posted @ 2025-02-26 20:22 Xiaohu_BigData 阅读(49) 评论(0) 推荐(0)
Flink1.18 Source - 数据生成器
摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.typeinfo.Types; import o 阅读全文
posted @ 2025-02-26 20:23 Xiaohu_BigData 阅读(53) 评论(0) 推荐(0)
Flink1.18 Transfrom - Map
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import com.xiaohu.implclass.MyMapFunction1; import org.apache.flink.api.common.event 阅读全文
posted @ 2025-02-26 20:25 Xiaohu_BigData 阅读(9) 评论(0) 推荐(0)
Flink1.18 Transfrom - flatMap
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flin 阅读全文
posted @ 2025-02-26 20:26 Xiaohu_BigData 阅读(12) 评论(0) 推荐(0)
Flink1.18 Transfrom - Filter
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink 阅读全文
posted @ 2025-02-26 20:27 Xiaohu_BigData 阅读(20) 评论(0) 推荐(0)
Flink1.18 Transfrom - KeyBy
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.stre 阅读全文
posted @ 2025-02-26 20:28 Xiaohu_BigData 阅读(23) 评论(0) 推荐(0)
Flink1.18 Transfrom - RichFunction
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.RichFilterFunction; import org.apache.f 阅读全文
posted @ 2025-02-26 20:28 Xiaohu_BigData 阅读(19) 评论(0) 推荐(0)
Flink1.18 Transfrom - SimpleAggregate简单聚合算子
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.stre 阅读全文
posted @ 2025-02-26 20:29 Xiaohu_BigData 阅读(21) 评论(0) 推荐(0)
Flink1.18 Transfrom - Reduce
摘要：package com.xiaohu.transfrom; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink 阅读全文
posted @ 2025-02-26 20:30 Xiaohu_BigData 阅读(13) 评论(0) 推荐(0)
Flink1.18 Transfrom - 分区器【7种现成】
摘要：package com.xiaohu.transfrom; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.DataStreamSource; 阅读全文
posted @ 2025-02-26 20:31 Xiaohu_BigData 阅读(21) 评论(0) 推荐(0)
Flink1.18 Transfrom - CustomPartition自定义分区器
摘要：自定义分区类，实现Partitioner接口 package com.xiaohu.transfrom; import org.apache.flink.api.common.functions.Partitioner; public class MyPartitioner implements P 阅读全文
posted @ 2025-02-26 20:32 Xiaohu_BigData 阅读(52) 评论(0) 推荐(0)
Flink1.18 Transfrom - 分流【Filter】
摘要：package com.xiaohu.transfrom.streamtranform; import com.xiaohu.transfrom.MyPartitioner; import org.apache.flink.api.java.functions.KeySelector; import 阅读全文
posted @ 2025-02-26 20:33 Xiaohu_BigData 阅读(13) 评论(0) 推荐(0)
Flink1.18 Transfrom - 分流【侧输出流 ProcessFunction】
摘要：package com.xiaohu.transfrom.streamtranform; import com.xiaohu.bean.WaterSensor; import com.xiaohu.transfrom.MyPartitioner; import org.apache.flink.ap 阅读全文
posted @ 2025-02-26 20:35 Xiaohu_BigData 阅读(34) 评论(0) 推荐(0)
Flink1.18 Transfrom - 合流【Union】
摘要：package com.xiaohu.transfrom.streamtranform; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datast 阅读全文
posted @ 2025-02-26 20:35 Xiaohu_BigData 阅读(10) 评论(0) 推荐(0)
Flink1.18 Transfrom - 合流【Connect, 并行度为1的情况】
摘要：package com.xiaohu.transfrom.streamtranform; import org.apache.flink.streaming.api.datastream.ConnectedStreams; import org.apache.flink.streaming.api. 阅读全文
posted @ 2025-02-26 20:36 Xiaohu_BigData 阅读(22) 评论(0) 推荐(0)
Flink1.18 Transfrom - 合流【Connect 两个流数据进行关联】
摘要：package com.xiaohu.transfrom.streamtranform; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.api.java.tuple.Tuple3; import org. 阅读全文
posted @ 2025-02-26 20:37 Xiaohu_BigData 阅读(51) 评论(0) 推荐(0)
Flink1.18 Sink - 到文件 新版本写法sinkToFile
摘要：package com.xiaohu.sink; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleString 阅读全文
posted @ 2025-02-26 20:40 Xiaohu_BigData 阅读(71) 评论(0) 推荐(0)
Flink1.18 Sink - 到Kafka 新版本写法sinkTo的使用
摘要：package com.xiaohu.sink; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.com 阅读全文
posted @ 2025-02-26 20:42 Xiaohu_BigData 阅读(163) 评论(0) 推荐(0)
Flink1.18 Sink - 到Kafka自定义序列化类 新版本写法sinkTo的使用
摘要：package com.xiaohu.sink; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.connector.base.DeliveryGuarantee 阅读全文
posted @ 2025-02-26 20:42 Xiaohu_BigData 阅读(64) 评论(0) 推荐(0)
Flink1.18 Sink - 到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】
摘要：自行修改对应数据库参数和配置 package com.xiaohu.sink; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.connector.jdbc.JdbcConnectio 阅读全文
posted @ 2025-02-26 20:44 Xiaohu_BigData 阅读(135) 评论(0) 推荐(0)
Flink1.18 Sink - 精确一次ExactlyOnce到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】
摘要：package com.xiaohu.sink; import com.mysql.cj.jdbc.MysqlXADataSource; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink 阅读全文
posted @ 2025-02-26 20:45 Xiaohu_BigData 阅读(68) 评论(0) 推荐(0)
Flink1.18 Sink - 自定义sink
摘要：package com.xiaohu.sink; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.DataStreamSource; impor 阅读全文
posted @ 2025-02-26 20:45 Xiaohu_BigData 阅读(132) 评论(0) 推荐(0)
大数据之路Week10_day07 (JavaAPI 操作Redis 与Hbase建立索引，通过查询redis中的索引查询Hbase数据）
摘要：在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应Hbase的数据 代码的难度并不大，主要是这个思路 阅读全文
posted @ 2020-01-12 12:03 Xiaohu_BigData 阅读(540) 评论(0) 推荐(0)
大数据之路Week10_day07 (JavaAPI 操作Redis 模拟将redis当作缓存，从Mysql数据库中查询数据）
摘要：在现实生活中，当很多人去访问一个数据的时候，Mysql会很慢，甚至会挂掉，如果这里之间存在一个缓存的话，直接从内存中查询数据将会快很多。 这里就去模拟将redis看作是一个缓存，因为redis就是基于内存的数据库。 需要考虑的问题： 1、客户端发起请求的时候，先去缓存中查询。 2、如何设计redis 阅读全文
posted @ 2020-01-12 12:10 Xiaohu_BigData 阅读(538) 评论(0) 推荐(0)