摘要：一、自定义MySink例子，将十四章节输出到mysql库里 核心类： DataStreamSource<String> source = KafkaUtil.kafkaSource(args[0], args[1], args[2]); SingleOutputStreamOperator<Acit 阅读全文

摘要：一、需求：给定一个字符串，其中包含id字段，需从数据库解析相应的名称返回 二、核心代码： public class QueryRelaDb { public static void main(String[] args) throws Exception { DataStreamSource<Str 阅读全文

摘要：一、滚动窗口使用Eventime env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); //timestamp,flink,2 //timestamp,sprak,3 DataStream<String> lines = env 阅读全文

摘要：一、不分组SlidingWindow DataStream<String> lines = env.socketTextStream("192.168.87.130", 8888); SingleOutputStreamOperator<Integer> word = lines.flatMap(n 阅读全文

摘要：一、CountWindoow不分组，整体划分窗口 DataStream<String> lines = env.socketTextStream("192.168.87.130", 8888); SingleOutputStreamOperator<Integer> word = lines.fla 阅读全文

摘要：一、FLINK涉及时间概念 二、Window 阅读全文

摘要：一、划分Task的依据 用例： DataStream<String> lines = env.socketTextStream(args[0], Integer.parseInt(args[1])); SingleOutputStreamOperator<Tuple2<String, Integer 阅读全文

摘要：一、PrintSink printSink并行度默认和cpu核数相关，传参标识符默认添加到首字符里 DataStreamSource<String> source = env.socketTextStream("192.168.87.130", 8888); source.print("res"); 阅读全文

摘要：一、reduce 对keyed data stream做一个滚动操作，整合当前值与最近的reduced值然后产生一个新值 DataStreamSource<String> source = env.socketTextStream("192.168.87.130", 8888); SingleOut 阅读全文

摘要：一、官方文档参考路径： https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/operators/index.html 二、Map 输入一个元素，映射返回一个元素 public static void main 阅读全文

摘要：一、串行的Source(socketTextStream、fromElements、fromCollection) /** * 并行度为1的source */ public class SourceDemo { public static void main(String[] args) throw 阅读全文

摘要：一、代码范例： public class BatchWordCount { public static void main(String[] args) throws Exception { //离线批处理使用的执行任务是ExecutionEnvironment,少了Stream Execution 阅读全文

摘要：一、初始化java工程 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.9.1 二、DataFlow 阅读全文

摘要：一、flink界面提交 以flink-1.9.1-bin-scala_2.11\flink-1.9.1\examples\streaming\SocketWindowWordCount.jar为例: 1、如下图进行配置： 2、server02机器使用nc -lk 8888启动监听 3、1中界面点击s 阅读全文

摘要：一、环境准备 1、机器信息 flink-1.9.1-bin-scala_2.11.tgz flink-1.7.2-bin-hadoop24-scala_2.12.tgz 1、192.168.87.130 server01 jobManager 2、192.168.87.131 server02 ta 阅读全文

摘要：一、Flink是什么 apache flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能 二、Flink特点 现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高 阅读全文