会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
坤坤呀
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
2022年6月12日
局域网内任意设备访问虚拟机服务器及应用
摘要: 一、SSH访问登陆虚拟机 目标: 在局域网内A电脑使用SSH登陆B电脑上虚拟机的服务器 前提条件: B电脑为宿主机,可以正常使用ssh访问虚拟机服务器,虚拟机网络连接方式为nat模式,虚拟机防火墙已关闭 详细步骤如下 1、打开Vmware虚拟网络编辑器,选择Nat模式,更改设置 2、点Nat设置 3
阅读全文
posted @ 2022-06-12 14:08 坤坤呀
阅读(3046)
评论(0)
推荐(0)
2022年6月7日
七、DataStream API之源算子(Source)
摘要: Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出) 创建环境之后,就可以构建数据处理的业务逻辑了,如上所示,下面主要学习Flink的源算子(Source)。想要处理数据,先得有数据,所以首要任务就是把数据读进来。 Fl
阅读全文
posted @ 2022-06-07 22:24 坤坤呀
阅读(1065)
评论(0)
推荐(0)
六、DataStream API之-执行环境
摘要: 执行环境(Execution Environment) Flink 程序可以在各种上下文环境中运行:可以在本地 JVM 中执行程序,也可以提交到远程集群上运行。 不同的环境,代码的提交运行的过程会有所不同。这就要求在提交作业执行计算时, 首先必须获取当前 Flink 的运行环境,从而建立起与 Fli
阅读全文
posted @ 2022-06-07 21:57 坤坤呀
阅读(369)
评论(0)
推荐(0)
2022年6月4日
五、Flink的一些重要概念
摘要: 1.程序与数据流 (DataFlow) 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink(输入、转换、输出) Source负责读取数据源,Transformation利用各种算子进行处理加工,Sink负责输出 在运行时,Flink上运行的程序会被映射成
阅读全文
posted @ 2022-06-04 19:51 坤坤呀
阅读(284)
评论(0)
推荐(0)
四、Flink系统架构、作业提交流程
摘要: 1.系统架构 1.1 整体构成 1.2 作业管理器(JobManager) 控制一个应用程序执行的主进程,是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件,负责处理单独的作业(Job) 在提交作业时,JobMaster会先接受到要执行的应用,一般是由客
阅读全文
posted @ 2022-06-04 19:47 坤坤呀
阅读(389)
评论(0)
推荐(0)
三、Flink集群部署
摘要: 1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群,Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录,关闭防火墙。 自己配置设置如下: 节点服务器 1,IP 地址为 192.168.33.102
阅读全文
posted @ 2022-06-04 12:19 坤坤呀
阅读(2377)
评论(0)
推荐(0)
一、Flink基础概念
摘要: 1、Flink是什么? Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算 (官网解释) 用松鼠logo的原因:希望这个项目(Flink)能做到快速灵活的大数据的处理 ,Flink在德语里面表示 快速 灵巧 这玩意是德国的 Flink应用场景 电商和市场营销:
阅读全文
posted @ 2022-06-04 11:27 坤坤呀
阅读(296)
评论(0)
推荐(0)
二、FlinkWordCount【Java】
摘要: 1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven.compiler.target>18</maven.compiler.target> <flink.
阅读全文
posted @ 2022-06-04 11:27 坤坤呀
阅读(453)
评论(0)
推荐(0)
2021年8月22日
SpringBoot2基础入门
摘要: SpringBoot2基础入门 一、Spring与SpringBoot Springboot官网:https://spring.io/projects/spring-boot 1.Spring的能力 2.Spring的生态 覆盖了:web开发、数据访问、安全控制、分布式、消息服务、移动开发、批处理.
阅读全文
posted @ 2021-08-22 16:21 坤坤呀
阅读(851)
评论(0)
推荐(0)
2021年8月17日
HiveOnSpark
摘要: Hive是Hadoop上的SQL引擎,SparkSQL编译时可以包含Hive支持,包含Hive支持之后,SparkSQL可以访问Hive表,对表进行创建,查询等操作,同时还能支持SQL或HQL 1、内置hive: 在安装Spark的同时就支持hive操作,使用是本地文件系统作为存储,使用默认数据库,
阅读全文
posted @ 2021-08-17 22:23 坤坤呀
阅读(252)
评论(0)
推荐(0)
上一页
1
2
3
公告