摘要：
一.简介 最近业务中个场景，行业分级，用到树结构，抽象出一些普通树的场景。 二.示例 import lombok.Data; import java.lang.reflect.Field; import java.util.HashMap; import java.util.List; /** * 阅读全文
posted @ 2021-03-09 21:30
Dlimeng
阅读(23)
评论(0)
推荐(0)
摘要：
文章目录 一.简介 二.Fork/Join 2.1 分治任务模型 2.2 API 2.3 ForkJoinPool 工作原理 三.示例 一.简介 并发编程可以分为三个层面的问题，分别是分工、协作和互斥，用类比现实世界的一些情况去理解并发任务，可以把线程池、Future、CompletableFutu 阅读全文
posted @ 2021-02-25 17:53
Dlimeng
阅读(19)
评论(0)
推荐(0)
摘要：
Flink 调度 Flink-执行逻辑 文章目录 一.角色作用 二.任务提交流程 1.1 Standlone 1.2 Yarn 三.TaskManager和slots原理 3.1 作用与关系 3.2 共享机制 一.角色作用 Client Client 为提交 Job 的客户端，可以是运行在任何机器上 阅读全文
posted @ 2021-02-14 13:04
Dlimeng
阅读(7)
评论(0)
推荐(0)
摘要：
文章目录 一.简介 二.原理 2.1 API 2.2 实现 三.示例 一.简介 在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟。在 Flink 的 1.2 版本中引入了 Asynchronous I/O，能够支持异步的操 阅读全文
posted @ 2021-01-23 18:12
Dlimeng
阅读(21)
评论(0)
推荐(0)
摘要：
Flink DataSet Table相互之间转换报错 Exception in thread "main" org.apache.flink.table.api.TableException: Create BatchTableEnvironment failed. at org.apache.f 阅读全文
posted @ 2021-01-20 16:58
Dlimeng
阅读(18)
评论(0)
推荐(0)
摘要：
用Flink Table 处理数据时候报错 SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Exception in thread "main" org.apache.flink.table.api.Table 阅读全文
posted @ 2021-01-20 16:54
Dlimeng
阅读(66)
评论(0)
推荐(0)
摘要：
文章目录 一.简介 二.示例 2.1 将Table转换为DataStream 2.2 将Table转换为DataSet 2.3 DataStrearm 转换Table对象 2.4 DataSet 转换Table对象 一.简介 DataStream/DataSet Table 之间互相转换： Data 阅读全文
posted @ 2021-01-20 16:52
Dlimeng
阅读(24)
评论(0)
推荐(0)
摘要：
一.简介 Flink可在Window Function执行前/后，添加Evictor在原Window中剔除元素。 Keyed Windows stream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: 阅读全文
posted @ 2021-01-20 15:15
Dlimeng
阅读(11)
评论(0)
推荐(0)
摘要：
一.简介 在window操作时，有三个重要点： 窗口分配器(assigner)，决定着流入flink的数据，该属于哪个窗口。 时间戳抽取器/watermark生成器，抽取时间戳并驱动着程序正常执行。 trigger，决定着数据啥时候落地。 flink 有很多内置的触发器，对于基于事件事件窗口触发器叫 阅读全文
posted @ 2021-01-14 12:22
Dlimeng
阅读(10)
评论(0)
推荐(0)
摘要：
文章目录 一.GraphX 介绍 二.GraphX 实现分析 2.1 图的切分方式 2.2 数据处理 2.3 BSP模型 2.4 设计核心 三.GraphX 实例 3.1 创建 3.2 转换操作 3.2.1 基本信息 3.2.2mapVertices 3.2.3 mapEdges 3.2.4 map 阅读全文
posted @ 2021-01-09 15:59
Dlimeng
阅读(34)
评论(0)
推荐(0)
浙公网安备 33010602011771号