摘要：
一、基础信息 spark版本：spark-3.1.3-bin-hadoop3.2 hadoop版本：hadoop-3.2.1 scala版本：scala-2.11.12 建议3.12版本 下载地址：https://spark.apache.org/downloads.html 二、配置修改 1、复制 阅读全文
posted @ 2022-04-02 18:14
Robots2
阅读(767)
评论(0)
推荐(1)
摘要：
一、网上总结的报错 1、coalesce报错 FAILED: SemanticException [Error 10014]: Line 197:4 Wrong arguments ''10'': Unsafe compares BETWEEN different types are disable 阅读全文
posted @ 2022-04-01 20:00
Robots2
阅读(1590)
评论(0)
推荐(0)
摘要：
一、常用优化 1、每个查询最大使用内存1T，目前配置 3T query.max-memory=1T 2、每个工作节点最多加载10GB数据，目前 60GB query.max-memory-per-node=60GB 3、每个查询最多运行30分钟，目前没设置 query.max-run-time=30 阅读全文
posted @ 2022-03-29 14:36
Robots2
阅读(384)
评论(0)
推荐(0)
摘要：
一、搜索 command+o 项目内搜索文件 command+shift+f 全局关键词搜索 阅读全文
posted @ 2022-03-29 11:04
Robots2
阅读(32)
评论(0)
推荐(0)
摘要：
一、分类 1.1 事件时间：EventTime 事件发⽣的时间 事件时间是每个单独事件在其产⽣进程上发⽣的时间，这个时间通常在处理的消息体中，如创建时间 在事件时间中，时间值 取决于数据产⽣记录的时间，⽽不是任何Flink机器上的 1.2 进⼊时间：IngestionTime 事件到进⼊Flink 阅读全文
posted @ 2022-03-27 22:04
Robots2
阅读(196)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:49
Robots2
阅读(105)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:47
Robots2
阅读(190)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.Aggregate 阅读全文
posted @ 2022-03-27 20:47
Robots2
阅读(81)
评论(0)
推荐(0)
摘要：
一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念：窗口来多少条计算一次，存在滚动和滑动两种情况 package net.xdclass.class10; import org.apache.flink.api.common.Ru 阅读全文
posted @ 2022-03-27 17:34
Robots2
阅读(177)
评论(0)
推荐(0)
摘要：
一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念：滑动窗口有两个参数，窗口大小20和滑动大小6，6秒滑一次，统计近20秒数据 前言：滚动窗口一个时间传参，滑动窗口两个时间传参 window算子用做有keyBy情况，没有使用key 阅读全文
posted @ 2022-03-27 17:32
Robots2
阅读(255)
评论(0)
推荐(0)
浙公网安备 33010602011771号