随笔分类 -  Flink

[Flink]Flink章4　Flink应用开发 --- slot and parallelism
摘要：先看看slot 任务槽（Task slot） 1.flink的TM就是运行在不同节点上的JVM进程（process）,这个进程会拥有一定量的资源。比如内存，cpu，网络，磁盘等。flink将进程的内存进行了划分到多个slot中.图中有2个TaskManager，每个TM有3个slot的，每个slot 阅读全文

posted @ 2020-10-26 11:11 深圳私塾 阅读(629) 评论(0) 推荐(0)

[Flink]Flink章3　Flink应用开发 --- Redis Sink
摘要：Flink提供了专门操作redis的Redis Sink 依赖 类 Redis Sink 提供用于向Redis发送数据的接口的类。接收器可以使用三种不同的方法与不同类型的Redis环境进行通信： 使用 Redis Sink 核心类是 RedisMappe 是一个接口，使用时我们要编写自己的redis 阅读全文

posted @ 2019-09-20 15:03 深圳私塾 阅读(753) 评论(0) 推荐(0)

[Flink]Flink章2　Flink应用开发一
摘要：Flink的应用开发 1、首先创建Flink执行环境 2、构建数据源，添加数据源 数据源是Flink的数据流入口，目前flink已经包含了一些常用的数据源组件，可以直接从文件，文件目录，hdfs文件系统、socket、Kafka(需要单独引入flink-connector-kafka包)消息等源头中 阅读全文

posted @ 2019-09-20 14:00 深圳私塾 阅读(219) 评论(0) 推荐(0)

[Flink]Flink章1　Flink架构浅析
摘要：一、简介 Flink 运行时架构主要包含几个部分：Client、JobManager(master节点)和TaskManger(slave节点)。 二、分工 Client：Flink 作业在哪台机器上面提交，那么当前机器称之为Client。用户开发的Program 代码，它会构建出DataFlow 阅读全文

posted @ 2019-06-12 17:37 深圳私塾 阅读(197) 评论(0) 推荐(0)

导航