摘要: 一、DataStream介绍 1、DataStream是一个面向Flink应用开发人员的逻辑概念,它提供了map、filter、flatMap等常见的api接口。Flink应用开发人员通过自定义UDF Function逻辑来表达业务逻辑。 2、DataStream类包含2个重要的成员变量Stream 阅读全文
posted @ 2023-08-13 18:54 有一个娃 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 在Flink应用执行过程中会涉及到3个主要的执行环境变量,分别为StreamExecutionEnvironment、Environment、RuntimeContext。它们的作用层次、作用时机、作用范围各不相同。3种环境对象的关系如下图: 下面分别介绍3种环境对象的细节信息。 一、StreamE 阅读全文
posted @ 2023-08-10 10:04 有一个娃 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 一、Hadooop Yarn框架简述 本小节参考董西成老师书籍《Hadoop技术内幕深入解析YARN框架设计与实现原理》p35、p36页内容,相关Yarn框架细节可阅读该书籍。 1、用户向Yarn中提交MapReduce、Spark、Flink等分布式计算应用程序,其中包含ApplicationMa 阅读全文
posted @ 2023-08-08 23:50 有一个娃 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 00、博主仅是一名数据开发及数仓开发工程师,出于自身对Flink系统原理好奇心,自愿花费精力整理源码解析系列随笔。博主并非专业Flink系统开发人员,在源码解析过程中出现非专业行为望见谅,希望各方专业人员多提意见,不胜感激。 01、Flink源码解析系列随笔编写过程中参考书籍《Flink内核原理与实 阅读全文
posted @ 2023-08-07 20:23 有一个娃 阅读(101) 评论(0) 推荐(0) 编辑