01 2021 档案

Flink Asynchronous IO异步操作
摘要：文章目录 一.简介 二.原理 2.1 API 2.2 实现 三.示例 一.简介 在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟。在 Flink 的 1.2 版本中引入了 Asynchronous I/O，能够支持异步的操 阅读全文
posted @ 2021-01-23 18:12 Dlimeng 阅读(20) 评论(0) 推荐(0)
Flink报错Create BatchTableEnvironment failed
摘要：Flink DataSet Table相互之间转换报错 Exception in thread "main" org.apache.flink.table.api.TableException: Create BatchTableEnvironment failed. at org.apache.f 阅读全文
posted @ 2021-01-20 16:58 Dlimeng 阅读(18) 评论(0) 推荐(0)
Flink报错 Could not instantiate the executor_ Make sure a planner module is on the classpath
摘要：用Flink Table 处理数据时候报错 SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Exception in thread "main" org.apache.flink.table.api.Table 阅读全文
posted @ 2021-01-20 16:54 Dlimeng 阅读(66) 评论(0) 推荐(0)
Flink DataStream/DataSet Table 之间的转换
摘要：文章目录 一.简介 二.示例 2.1 将Table转换为DataStream 2.2 将Table转换为DataSet 2.3 DataStrearm 转换Table对象 2.4 DataSet 转换Table对象 一.简介 DataStream/DataSet Table 之间互相转换： Data 阅读全文
posted @ 2021-01-20 16:52 Dlimeng 阅读(21) 评论(0) 推荐(0)
Flink Window Evictor
摘要：一.简介 Flink可在Window Function执行前/后，添加Evictor在原Window中剔除元素。 Keyed Windows stream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: 阅读全文
posted @ 2021-01-20 15:15 Dlimeng 阅读(10) 评论(0) 推荐(0)
Flink Window Trigger
摘要：一.简介 在window操作时，有三个重要点： 窗口分配器(assigner)，决定着流入flink的数据，该属于哪个窗口。 时间戳抽取器/watermark生成器，抽取时间戳并驱动着程序正常执行。 trigger，决定着数据啥时候落地。 flink 有很多内置的触发器，对于基于事件事件窗口触发器叫 阅读全文
posted @ 2021-01-14 12:22 Dlimeng 阅读(10) 评论(0) 推荐(0)
Spark 图计算实战
摘要：文章目录 一.GraphX 介绍 二.GraphX 实现分析 2.1 图的切分方式 2.2 数据处理 2.3 BSP模型 2.4 设计核心 三.GraphX 实例 3.1 创建 3.2 转换操作 3.2.1 基本信息 3.2.2mapVertices 3.2.3 mapEdges 3.2.4 map 阅读全文
posted @ 2021-01-09 15:59 Dlimeng 阅读(34) 评论(0) 推荐(0)
WeDataSphere开源社区贡献奖
摘要：一.简介 该社区由微众银行开源组成，里面汇聚各种数据大佬，开源很多服务，例如：数据计算中间件，机器学习，数据质量，数据交换，调度，数据开发服务等等。 二.经历 从2019年开始进入社区，从事研究，把社区的数据服务，整合到公司，整合出来数据中台，帮助公司的数据建设向前一大部分，同时把一些结果提交到社区 阅读全文
posted @ 2021-01-04 19:29 Dlimeng 阅读(35) 评论(0) 推荐(0)