2020年11月29日
Flink 流处理API之实现UDF函数——更细粒度的控制流
摘要： 1 函数类（Function Classes） Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。 下面例子实现了FilterFunction接口： DataStream<String> 阅读全文
posted @ 2020-11-29 12:00 huihui大数据 阅读(113) 评论(0) 推荐(0)
二.Flink 流处理API之Transform
摘要： 转换算子 1.map DataStream<Integer> mapStram = dataStream.map(new MapFunction<String, Integer>() { public Integer map(String value) throws Exception { retu 阅读全文
posted @ 2020-11-29 11:48 huihui大数据 阅读(99) 评论(0) 推荐(0)
Flink理论基础
摘要： 1.Flink的几种运行模式 1.yarn模式(重点) ①Sesson模式 它是启动一个Flink集群，向集群提交任务时，资源是共享的，如果资源不够，其它任务就必须要等待了。 它一般是运行小而快的任务，一般适用于离线任务 ②per-job模式 它每一个提交的任务都有一个独立的Flink集群。独立的资 阅读全文
posted @ 2020-11-29 10:19 huihui大数据 阅读(234) 评论(0) 推荐(0)
一.Flink流处理API之Environment与Source
摘要： 一.Environment 1.getExecutionEnvironment ①ExecutionEnvironment.getExecutionEnvironment ②StreamExecutionEnvironment.getExecutionEnvironment ③如果没有设置并行度，会 阅读全文
posted @ 2020-11-29 10:14 huihui大数据 阅读(557) 评论(0) 推荐(0)