随笔分类 -  flink

【flink】重启kafka消费者
摘要：public class KafkaConsumerJob { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment. 阅读全文
posted @ 2023-04-23 10:45 xiaoyu_jane 阅读(166) 评论(0) 推荐(0)
flink alpine版本升级jdk 遇到的各种问题
摘要：alpine linux 执行文件崩溃 报错 找不到/lib/x86_64-linux-gnu/libc.so 解决方法 https://blog.csdn.net/whatday/article/details/118071434 基于Linux Alpine 制作 Java 8、11 镜像并支持 阅读全文
posted @ 2023-03-13 20:21 xiaoyu_jane 阅读(90) 评论(0) 推荐(0)
【flink】flink自定义的kafka source +sink，mysql source和sink的完整流程
摘要：参见https://blog.csdn.net/qq_29232943/article/details/105250767 写的很详细，包含了 SourceFromMySQL source from kafka 自定义MysqlSink 处理打包和上传 阅读全文
posted @ 2022-11-15 20:07 xiaoyu_jane 阅读(110) 评论(0) 推荐(0)
【scala】getclass的使用
摘要：打印属性名 判断是否有该属性 阅读全文
posted @ 2022-10-27 16:23 xiaoyu_jane 阅读(17) 评论(0) 推荐(0)
【scala】 gson实现string和实体类的互相转换
摘要：实体类转换成字符串 一般用于序列化之前的传输，字符串可以使用序列化 字符串解析成实体类 一般用于反序列化 阅读全文
posted @ 2022-10-27 16:15 xiaoyu_jane 阅读(139) 评论(0) 推荐(0)
【flink】同一份流可以sink多个
摘要：结论 同一个sourceStream可以进行多个处理输出多个sink 每次算子操作都会产生新的对象，对之前的DataStream不会影响 // 创建数据流 DataStream<TaskNodeInstance> sourceStream = StreamCommon.getKafkaSourceS 阅读全文
posted @ 2022-10-26 16:01 xiaoyu_jane 阅读(2493) 评论(0) 推荐(0)