2019年11月9日
摘要:
本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html Flink Table Api & SQL 翻译目录 Table API和SQL集成在共同API中。该API的中心概念是
阅读全文
posted @ 2019-11-09 18:19
Flink菜鸟
阅读(1724)
推荐(0)
摘要:
本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/ Flink Table Api & SQL 翻译目录 一直没有用 flink 的 table 或 sql api,最近开始要使用这部分功能了,
阅读全文
posted @ 2019-11-09 15:54
Flink菜鸟
阅读(812)
推荐(0)
摘要:
Flink 中窗口是很重要的一个功能,而窗口又经常配合触发器一起使用。 Flink 自带的触发器大概有: CountTrigger: 指定条数触发 ContinuousEventTimeTrigger:指定事件时间触发 ContinuousProcessingTimeTrigger:指定处理时间触发
阅读全文
posted @ 2019-11-09 14:48
Flink菜鸟
阅读(8482)
推荐(3)
2019年10月27日
摘要:
本文翻译自flink官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/windows.html Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”,我们可以
阅读全文
posted @ 2019-10-27 20:43
Flink菜鸟
阅读(1044)
推荐(0)
摘要:
之前有小伙伴在群里说:滑动窗口使用触发器让每条数据都触发一次计算 但是他并没有得到预期的结果:每条数据都触发一次计算,输出一条结果,而是每天数据都输出了很多条结果 为什么会这样呢? 写了个小案例,来解释这种情况 为了方便使用自定义的 source 开发数据: 就是个简单的 souce,每秒对外发出随
阅读全文
posted @ 2019-10-27 16:04
Flink菜鸟
阅读(3051)
推荐(1)
2019年9月29日
摘要:
之前一直用翻滚窗口,每条数据都只属于一个窗口,所有不需要考虑数据需要在多个窗口存的事情。 刚好有个需求,要用到滑动窗口,来翻翻 flink 在滑动窗口中,数据是怎么分配到多个窗口的 一段简单的测试代码: 定义了一个长度为1分钟,滑动距离 10秒的窗口,所以正常每条数据应该对应 6 个窗口 在 pro
阅读全文
posted @ 2019-09-29 17:24
Flink菜鸟
阅读(2929)
推荐(0)
2019年9月28日
摘要:
社区中有好几个同学问过这样的场景: flink 任务中,source 进来的数据,需要连接数据库里面的字段,再做后面的处理 这里假设一个 ETL 的场景,输入数据包含两个字段 “type, userid....” ,需要根据 type,连接一张 mysql 的配置表,关联 type 对应的具体内容。
阅读全文
posted @ 2019-09-28 20:47
Flink菜鸟
阅读(12815)
推荐(2)
2019年9月16日
摘要:
本文来自官网: https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/#physical-partitioning Flink还通过以下函数对转换后的数据精确流分区进行低级控制(如果需要)。
阅读全文
posted @ 2019-09-16 13:23
Flink菜鸟
阅读(2274)
推荐(0)
2019年9月12日
摘要:
闲来无事,编个Flink 1.9 玩玩 1、下载flink、flink-shaded 源码、解压 flink flink-shaded 7.0 [venn@venn release]$ ll total 19880 drwxrwxr-x. 44 venn venn 4096 Sep 12 14:00
阅读全文
posted @ 2019-09-12 17:50
Flink菜鸟
阅读(3957)
推荐(0)
2019年9月4日
摘要:
生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客: Flink assignAscendingTimestamps 生成水印的三个重载方法 之前想研究下Flink是怎么处理乱序的数据,看了相关的源码,加上测试,发现得到了与预期完全不相同的结果。 预期是:乱序到达的数据,
阅读全文
posted @ 2019-09-04 22:18
Flink菜鸟
阅读(2631)
推荐(0)