随笔分类 -  Flink

上一页 1 2
Flink学习内容
Flink批处理读写Hive
摘要：import org.apache.flink.table.api.*; import org.apache.flink.table.catalog.hive.HiveCatalog; /** * @Auther WeiJiQian * @描述 */ public class FlinkReadHi 阅读全文
posted @ 2020-12-04 23:00 宁君 阅读(1781) 评论(2) 推荐(0)
Flink批处理读取Hive写入MySql
摘要：把hive 表stu77 的数据写入 mysql 表test_stu 中. 中间可以加自己的逻辑. import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.StatementSe 阅读全文
posted @ 2020-12-04 22:59 宁君 阅读(2408) 评论(3) 推荐(0)
Flink任务暂停重启
摘要：查看正在进行的任务 ./flink list 取消job并保存状态 ./flink cancel -s jobid 重启job ./flink run -s savepointPath -c 主类 xxx.jar 阅读全文
posted @ 2020-11-25 11:41 宁君 阅读(1975) 评论(0) 推荐(0)
Flink优化总结
摘要：Flink优化 1.使用flink tuples tuples 是否比pojo性能好呢? 是的. 类继承自 Tuple public class ProvinceEvent extends Tuple3<Long,String,String> { // private Long timestamps 阅读全文
posted @ 2020-11-25 11:32 宁君 阅读(500) 评论(0) 推荐(0)
Flink集群监控
摘要：prometheus+grafana 监控hadoop、yarn https://blog.csdn.net/c275090933/article/details/82108014 Prometheus+Grafana搭建监控系统 https://www.jianshu.com/p/5f74d22b 阅读全文
posted @ 2020-11-25 11:30 宁君 阅读(794) 评论(0) 推荐(1)
flink连接器-流处理-读写redis
摘要：写入redis resultStream.addSink(new RedisSink(FlinkUtils.getRedisSinkConfig(parameters),new MyRedisMapper())); getRedisSinkConfig public static FlinkJedi 阅读全文
posted @ 2020-11-25 11:25 宁君 阅读(1138) 评论(0) 推荐(0)
Flink连接器-批处理-读写Hbase
摘要：Flink批处理与hbase的读写 source-hbase 父类 是模仿官方写的. import org.apache.flink.api.common.io.LocatableInputSplitAssigner; import org.apache.flink.api.common.io.Ri 阅读全文
posted @ 2020-11-25 11:12 宁君 阅读(1001) 评论(0) 推荐(0)
flink on yarn
摘要：flink on yarn 为什么要用yarn? 如果不用yarn.假设有10个job运行在flink集群上,如果有一个出问题.发生了OOM,最后导致taskmanager挂掉.那么jobmanager会调度任务到其他的taskmanager上面.最后是连锁反应,会造成所有的taskmanager都 阅读全文
posted @ 2020-11-25 10:38 宁君 阅读(1156) 评论(0) 推荐(1)
Flink如何做维表关联?
摘要：使用 RichAsyncFunction 加 CacheBuilder CacheBuilder.newBuilder() //最多存储10000条 .maximumSize(10000) //过期时间为1分钟 .expireAfterWrite(60, TimeUnit.SECONDS) .bui 阅读全文
posted @ 2020-11-25 10:29 宁君 阅读(738) 评论(0) 推荐(0)
BloomFilter中保存的数据量
摘要：结果 /** * @author WeiJiQian * BF_CARDINAL_THRESHOLD BF_FALSE_POSITIVE_RATE 保存的数据量 * 100,0000 0.01 391万 * 1000,0000 0.01 3700万 * 1,0000,0000 0.01 total: 阅读全文
posted @ 2020-11-25 10:23 宁君 阅读(291) 评论(0) 推荐(0)
Flink 自定义触发器
摘要：import org.apache.flink.api.common.state.ReducingState; import org.apache.flink.api.common.state.ReducingStateDescriptor; import org.apache.flink.api. 阅读全文
posted @ 2020-11-25 10:21 宁君 阅读(1119) 评论(1) 推荐(0)
Flink开发中的问题
摘要：1. 流与批处理的区别 流处理系统 流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理。 批处理系统 批处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，并不会立刻通过网络传输到下一个 阅读全文
posted @ 2020-11-25 10:20 宁君 阅读(1457) 评论(0) 推荐(0)
怎么确定一个Flink job的资源
摘要：怎么确定一个Flink job的资源 Slots && parallelism 一个算子的parallelism 是5 ，那么这个算子就需要5个slot， 公式 ：一个算子的parallelism 是n ，那么这个算子就需要5个n 通俗理解：几个并行度，就是有几个线程处理。 如何计算Slot 如果不 阅读全文
posted @ 2020-11-25 10:10 宁君 阅读(947) 评论(0) 推荐(0)
Flink统计日活
摘要：.keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.days(1), Time.hours(-8))) .trigger(ContinuousProcessingTimeTrigger.of(Time.seconds(10))) .evic 阅读全文
posted @ 2020-11-25 09:51 宁君 阅读(1227) 评论(0) 推荐(0)
Flink读取resource资源文件
摘要：public static ParameterTool getParameterTool(String[] args){ try { return ParameterTool .fromPropertiesFile(PropertiesUtil.class.getResourceAsStream(" 阅读全文
posted @ 2020-11-25 09:49 宁君 阅读(1932) 评论(0) 推荐(0)

上一页 1 2