随笔分类 -  Flink

flink的学习及flink相关问题分析
摘要:1、目的 启动Flink任务方法的命令为 flink run flink.jar 但是有时候启动时需要向里面传入一些参数,比如配置文件的路径等。 2、带参执行命令 首先在代码中配置: ParameterTool parameters = ParameterTool.fromArgs(args); S 阅读全文
posted @ 2020-06-14 19:02 YuanSai 阅读(5999) 评论(0) 推荐(1)
摘要:1、Failure Rate Restart Strategy 说明 故障率重启策略,flink提供的一种比较"智能"的重启策略;即当任务的失败率上升到一定的程度时,flink认为本次任务最终是失败的; 也可以理解为,在该策略中,flink关注的点是任务的失败率,失败率计算公式如下: 失败率 = 失 阅读全文
posted @ 2020-06-13 14:25 YuanSai 阅读(2631) 评论(0) 推荐(0)
摘要:1、处理时间 处理时间是指执行相应 算子操作的机器的系统时间。 当流程序在处理时间运行时,所有基于时间的 算子操作(如时间窗口)将使用 运行相应算子的机器的系统时钟。每小时处理时间窗口将包括在系统时钟指示 整个小时之间到达特定算子的所有记录。例如,如果应用程序在上午9:15开始 运行,则第一个每小时 阅读全文
posted @ 2020-06-09 11:14 YuanSai 阅读(2523) 评论(0) 推荐(0)
摘要:flink数据源 Flink附带了 许多预先实现的源函数,可以通过实现 SourceFunction 非并行源,或通过 实现 ParallelSourceFunction 接口或扩展 RichParallelSourceFunction 并行源来编写自己的自定义源。 有几个预定义的流源可从以下位置访 阅读全文
posted @ 2020-06-09 10:40 YuanSai 阅读(867) 评论(0) 推荐(0)