摘要：
一、SSH访问登陆虚拟机 目标： 在局域网内A电脑使用SSH登陆B电脑上虚拟机的服务器 前提条件: B电脑为宿主机，可以正常使用ssh访问虚拟机服务器，虚拟机网络连接方式为nat模式，虚拟机防火墙已关闭 详细步骤如下 1、打开Vmware虚拟网络编辑器，选择Nat模式，更改设置 2、点Nat设置 3 阅读全文
posted @ 2022-06-12 14:08
坤坤呀
阅读(3046)
评论(0)
推荐(0)
摘要：
Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出) 创建环境之后，就可以构建数据处理的业务逻辑了，如上所示，下面主要学习Flink的源算子（Source）。想要处理数据，先得有数据，所以首要任务就是把数据读进来。 Fl 阅读全文
posted @ 2022-06-07 22:24
坤坤呀
阅读(1065)
评论(0)
推荐(0)
摘要：
执行环境（Execution Environment） Flink 程序可以在各种上下文环境中运行：可以在本地 JVM 中执行程序，也可以提交到远程集群上运行。 不同的环境，代码的提交运行的过程会有所不同。这就要求在提交作业执行计算时， 首先必须获取当前 Flink 的运行环境，从而建立起与 Fli 阅读全文
posted @ 2022-06-07 21:57
坤坤呀
阅读(369)
评论(0)
推荐(0)
摘要：
1.程序与数据流 （DataFlow） 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink（输入、转换、输出） Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出 在运行时，Flink上运行的程序会被映射成 阅读全文
posted @ 2022-06-04 19:51
坤坤呀
阅读(284)
评论(0)
推荐(0)
摘要：
1.系统架构 1.1 整体构成 1.2 作业管理器（JobManager） 控制一个应用程序执行的主进程，是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件，负责处理单独的作业（Job） 在提交作业时，JobMaster会先接受到要执行的应用，一般是由客 阅读全文
posted @ 2022-06-04 19:47
坤坤呀
阅读(389)
评论(0)
推荐(0)
摘要：
1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录，关闭防火墙。 自己配置设置如下： 节点服务器 1，IP 地址为 192.168.33.102 阅读全文
posted @ 2022-06-04 12:19
坤坤呀
阅读(2377)
评论(0)
推荐(0)
摘要：
1、Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 （官网解释） 用松鼠logo的原因:希望这个项目（Flink）能做到快速灵活的大数据的处理 ，Flink在德语里面表示 快速 灵巧 这玩意是德国的 Flink应用场景 电商和市场营销: 阅读全文
posted @ 2022-06-04 11:27
坤坤呀
阅读(296)
评论(0)
推荐(0)
摘要：
1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven.compiler.target>18</maven.compiler.target> <flink. 阅读全文
posted @ 2022-06-04 11:27
坤坤呀
阅读(453)
评论(0)
推荐(0)
摘要：
SpringBoot2基础入门 一、Spring与SpringBoot Springboot官网：https://spring.io/projects/spring-boot 1.Spring的能力 2.Spring的生态 覆盖了：web开发、数据访问、安全控制、分布式、消息服务、移动开发、批处理. 阅读全文
posted @ 2021-08-22 16:21
坤坤呀
阅读(851)
评论(0)
推荐(0)
摘要：
Hive是Hadoop上的SQL引擎,SparkSQL编译时可以包含Hive支持,包含Hive支持之后,SparkSQL可以访问Hive表,对表进行创建,查询等操作,同时还能支持SQL或HQL 1、内置hive： 在安装Spark的同时就支持hive操作,使用是本地文件系统作为存储,使用默认数据库, 阅读全文
posted @ 2021-08-17 22:23
坤坤呀
阅读(252)
评论(0)
推荐(0)
浙公网安备 33010602011771号