06 2022 档案

Flink-富函数(Rich Functions)
摘要:4.富函数(Rich Functions) 4.1 函数类(Function Classes) Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterF 阅读全文

posted @ 2022-06-08 22:30 嘣嘣嚓 阅读(1434) 评论(0) 推荐(0)

Flink-Transform(转换)
摘要:书接上回。 3.Transform 转换算子【代码示例统一放在最后边】 3.1 map val streamMap = stream.map { x => x * 2 } 3.2 flatMap flatMap 的函数签名:def flatMap[A,B](as: List[A])(f: A ⇒ L 阅读全文

posted @ 2022-06-08 22:00 嘣嘣嚓 阅读(186) 评论(0) 推荐(0)

Flink-Source(数据源)
摘要:1.Environment 1.1 getExecutionEnvironment 创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironme 阅读全文

posted @ 2022-06-06 23:09 嘣嘣嚓 阅读(93) 评论(0) 推荐(0)

Flink-任务调度原理
摘要:任务调度图示 客户端不是运行时和程序执行的一部分,但它用于准备并发送dataflow(JobGraph)给Master(JobManager),然后,客户端断开连接或者维持连接以等待接收计算结果。当Flink集群启动后,首先会启动一个JobManger和一个或多个的TaskManager。由Clie 阅读全文

posted @ 2022-06-01 22:13 嘣嘣嚓 阅读(547) 评论(0) 推荐(0)

导航