摘要：
把hive 表stu77 的数据写入 mysql 表test_stu 中. 中间可以加自己的逻辑. import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.StatementSe 阅读全文
posted @ 2020-12-04 22:59
宁君
阅读(2405)
评论(3)
推荐(0)
摘要：
数组与链表的优缺点 原理 数组,在内存上给出了连续的空间. 链表,内存地址上可以是不连续的, 数组: 优点：使用方便 ，查询效率 比链表高，内存为一连续的区域 缺点：大小固定，不适合动态存储，不方便动态添加 链表： 优点：可动态添加删除 大小可变 缺点：只能通过顺次指针访问，查询效率低 链表和数组的 阅读全文
posted @ 2020-11-25 15:19
宁君
阅读(447)
评论(0)
推荐(0)
摘要：
查看正在进行的任务 ./flink list 取消job并保存状态 ./flink cancel -s jobid 重启job ./flink run -s savepointPath -c 主类 xxx.jar 阅读全文
posted @ 2020-11-25 11:41
宁君
阅读(1973)
评论(0)
推荐(0)
摘要：
Flink优化 1.使用flink tuples tuples 是否比pojo性能好呢? 是的. 类继承自 Tuple public class ProvinceEvent extends Tuple3<Long,String,String> { // private Long timestamps 阅读全文
posted @ 2020-11-25 11:32
宁君
阅读(498)
评论(0)
推荐(0)
摘要：
prometheus+grafana 监控hadoop、yarn https://blog.csdn.net/c275090933/article/details/82108014 Prometheus+Grafana搭建监控系统 https://www.jianshu.com/p/5f74d22b 阅读全文
posted @ 2020-11-25 11:30
宁君
阅读(794)
评论(0)
推荐(1)
摘要：
写入redis resultStream.addSink(new RedisSink(FlinkUtils.getRedisSinkConfig(parameters),new MyRedisMapper())); getRedisSinkConfig public static FlinkJedi 阅读全文
posted @ 2020-11-25 11:25
宁君
阅读(1138)
评论(0)
推荐(0)
摘要：
Flink批处理与hbase的读写 source-hbase 父类 是模仿官方写的. import org.apache.flink.api.common.io.LocatableInputSplitAssigner; import org.apache.flink.api.common.io.Ri 阅读全文
posted @ 2020-11-25 11:12
宁君
阅读(999)
评论(0)
推荐(0)
摘要：
flink on yarn 为什么要用yarn? 如果不用yarn.假设有10个job运行在flink集群上,如果有一个出问题.发生了OOM,最后导致taskmanager挂掉.那么jobmanager会调度任务到其他的taskmanager上面.最后是连锁反应,会造成所有的taskmanager都 阅读全文
posted @ 2020-11-25 10:38
宁君
阅读(1155)
评论(0)
推荐(1)
摘要：
使用 RichAsyncFunction 加 CacheBuilder CacheBuilder.newBuilder() //最多存储10000条 .maximumSize(10000) //过期时间为1分钟 .expireAfterWrite(60, TimeUnit.SECONDS) .bui 阅读全文
posted @ 2020-11-25 10:29
宁君
阅读(737)
评论(0)
推荐(0)
摘要：
结果 /** * @author WeiJiQian * BF_CARDINAL_THRESHOLD BF_FALSE_POSITIVE_RATE 保存的数据量 * 100,0000 0.01 391万 * 1000,0000 0.01 3700万 * 1,0000,0000 0.01 total: 阅读全文
posted @ 2020-11-25 10:23
宁君
阅读(289)
评论(0)
推荐(0)
浙公网安备 33010602011771号