06 2022 档案

八、DataStream API之-转换算子（Transformation）
摘要：转换算子 数据源读入数据之后，就可以使用各种转换算子，将一个或多个DataStream转换为新的DataStream，如上所示。一个 Flink 程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。可以针对一条流进行转换处理，也可以进行分流、合流等多流转换操作，从而组合成复杂的数据流拓扑。 阅读全文
posted @ 2022-06-20 22:26 坤坤呀 阅读(886) 评论(0) 推荐(0)
局域网内任意设备访问虚拟机服务器及应用
摘要：一、SSH访问登陆虚拟机 目标： 在局域网内A电脑使用SSH登陆B电脑上虚拟机的服务器 前提条件: B电脑为宿主机，可以正常使用ssh访问虚拟机服务器，虚拟机网络连接方式为nat模式，虚拟机防火墙已关闭 详细步骤如下 1、打开Vmware虚拟网络编辑器，选择Nat模式，更改设置 2、点Nat设置 3 阅读全文
posted @ 2022-06-12 14:08 坤坤呀 阅读(3152) 评论(0) 推荐(0)
七、DataStream API之源算子（Source）
摘要：Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出) 创建环境之后，就可以构建数据处理的业务逻辑了，如上所示，下面主要学习Flink的源算子（Source）。想要处理数据，先得有数据，所以首要任务就是把数据读进来。 Fl 阅读全文
posted @ 2022-06-07 22:24 坤坤呀 阅读(1094) 评论(0) 推荐(0)
六、DataStream API之-执行环境
摘要：执行环境（Execution Environment） Flink 程序可以在各种上下文环境中运行：可以在本地 JVM 中执行程序，也可以提交到远程集群上运行。 不同的环境，代码的提交运行的过程会有所不同。这就要求在提交作业执行计算时， 首先必须获取当前 Flink 的运行环境，从而建立起与 Fli 阅读全文
posted @ 2022-06-07 21:57 坤坤呀 阅读(385) 评论(0) 推荐(0)
五、Flink的一些重要概念
摘要：1.程序与数据流 （DataFlow） 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink（输入、转换、输出） Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出 在运行时，Flink上运行的程序会被映射成 阅读全文
posted @ 2022-06-04 19:51 坤坤呀 阅读(301) 评论(0) 推荐(0)
四、Flink系统架构、作业提交流程
摘要：1.系统架构 1.1 整体构成 1.2 作业管理器（JobManager） 控制一个应用程序执行的主进程，是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件，负责处理单独的作业（Job） 在提交作业时，JobMaster会先接受到要执行的应用，一般是由客 阅读全文
posted @ 2022-06-04 19:47 坤坤呀 阅读(407) 评论(0) 推荐(0)
三、Flink集群部署
摘要：1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录，关闭防火墙。 自己配置设置如下： 节点服务器 1，IP 地址为 192.168.33.102 阅读全文
posted @ 2022-06-04 12:19 坤坤呀 阅读(2405) 评论(0) 推荐(0)
一、Flink基础概念
摘要：1、Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 （官网解释） 用松鼠logo的原因:希望这个项目（Flink）能做到快速灵活的大数据的处理 ，Flink在德语里面表示 快速 灵巧 这玩意是德国的 Flink应用场景 电商和市场营销: 阅读全文
posted @ 2022-06-04 11:27 坤坤呀 阅读(323) 评论(0) 推荐(0)
二、FlinkWordCount【Java】
摘要：1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven.compiler.target>18</maven.compiler.target> <flink. 阅读全文
posted @ 2022-06-04 11:27 坤坤呀 阅读(458) 评论(0) 推荐(0)