随笔分类 -  Flink

Flink Metaspace OOM问题排查
摘要：错误日志 org.apache.flink.runtime.rest.handler.RestHandlerException: Could not execute application. at org.apache.flink.runtime.webmonitor.handlers.JarRun 阅读全文
posted @ 2024-01-09 11:17 粒子先生 阅读(432) 评论(0) 推荐(0)
Flink Sql线上环境踩坑记录
摘要：背景：Flink Sql程序本机测试执行没问题，上到生产环境就报各种诡异得问题，搞得头都大了。。。特此记录下解决过程。 问题原因主要两点： 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. 阅读全文
posted @ 2024-01-09 09:47 粒子先生 阅读(474) 评论(0) 推荐(0)
Flink SQL建表语句示例
摘要：Hive CREATE EXTERNAL TABLE jc.judgmentDocumentods( odsId STRING, caseTitle STRING, plaintiff STRING, caseTypeShow INT, releaseDate STRING, caseSource 阅读全文
posted @ 2024-01-09 09:38 粒子先生 阅读(115) 评论(0) 推荐(0)
Flink Sql On Hive
摘要：TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream 阅读全文
posted @ 2024-01-09 09:31 粒子先生 阅读(55) 评论(0) 推荐(0)
Flink写文件
摘要：简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe 阅读全文
posted @ 2024-01-08 16:36 粒子先生 阅读(539) 评论(0) 推荐(0)
HUE中执行Flink SQL
摘要：要解决的问题 解决HUE操作大数据量Hive表时，执行报错的问题。 为开发人员或数据管理人员提供一个便捷的Flink SQL交互式查询工具，简化SQL验证的流程，进而提高工作效率。 功能介绍 Flink SQL 读写Kafka Flink SQL 读写HDFS Flink SQL 关联 Flink 阅读全文
posted @ 2024-01-08 16:04 粒子先生 阅读(244) 评论(0) 推荐(0)
User-defined Sources & Sinks
摘要：Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta 阅读全文
posted @ 2024-01-08 15:22 粒子先生 阅读(139) 评论(0) 推荐(0)