Robots2

2022年3月29日

摘要：一、常用优化 1、每个查询最大使用内存1T，目前配置 3T query.max-memory=1T 2、每个工作节点最多加载10GB数据，目前 60GB query.max-memory-per-node=60GB 3、每个查询最多运行30分钟，目前没设置 query.max-run-time=30 阅读全文

posted @ 2022-03-29 14:36 Robots2 阅读(401) 评论(0) 推荐(0)

IDEA 快捷键总结

摘要：一、搜索 command+o 项目内搜索文件 command+shift+f 全局关键词搜索阅读全文

posted @ 2022-03-29 11:04 Robots2 阅读(48) 评论(0) 推荐(0)

2022年3月27日

Flink中的时间分类

摘要：一、分类 1.1 事件时间：EventTime 事件发⽣的时间事件时间是每个单独事件在其产⽣进程上发⽣的时间，这个时间通常在处理的消息体中，如创建时间在事件时间中，时间值取决于数据产⽣记录的时间，⽽不是任何Flink机器上的 1.2 进⼊时间：IngestionTime 事件到进⼊Flink 阅读全文

posted @ 2022-03-27 22:04 Robots2 阅读(207) 评论(0) 推荐(0)

FLink18--全窗口聚合方式2 ProcessWindowApp

摘要：一、依赖二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文

posted @ 2022-03-27 20:49 Robots2 阅读(116) 评论(0) 推荐(0)

FLink17--全窗口聚合方法1--ApplyWindowApp

摘要：一、依赖二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文

posted @ 2022-03-27 20:47 Robots2 阅读(197) 评论(0) 推荐(0)

FLink17--聚合函数-AggWindowApp

摘要：一、依赖二、代码 package net.xdclass.class11; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.Aggregate 阅读全文

posted @ 2022-03-27 20:47 Robots2 阅读(97) 评论(0) 推荐(0)

FLink16--计数窗口--CountWindiwApp

摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码概念：窗口来多少条计算一次，存在滚动和滑动两种情况 package net.xdclass.class10; import org.apache.flink.api.common.Ru 阅读全文

posted @ 2022-03-27 17:34 Robots2 阅读(193) 评论(0) 推荐(0)

FLink15--滑动窗口--SlidingWindiwApp

摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码概念：滑动窗口有两个参数，窗口大小20和滑动大小6，6秒滑一次，统计近20秒数据前言：滚动窗口一个时间传参，滑动窗口两个时间传参 window算子用做有keyBy情况，没有使用key 阅读全文

posted @ 2022-03-27 17:32 Robots2 阅读(273) 评论(0) 推荐(0)

FLink14--核心窗口--TumblingWindiwApp

摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码前言：window用作有keyBy情况，前面没有使用keyBy的话用windowAll，并行度会慢 package net.xdclass.class10; import java. 阅读全文

posted @ 2022-03-27 17:29 Robots2 阅读(104) 评论(0) 推荐(1)

FLink13--KeyByMaxByApp

摘要：一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 package net.xdclass.class9; import java.util.Date; import org.apache.flink.api.common.Runtim 阅读全文

posted @ 2022-03-27 17:27 Robots2 阅读(121) 评论(0) 推荐(0)

公告