随笔档案「2021年6月」 - Yanko24

Flink运行环境_Yarn

摘要：Flink运行环境_Yarn 独立部署（Standalone）模式是由Flink框架本身提供计算资源，无需其他框架提供资源。这种方式... 阅读全文

posted @ 2021-06-07 16:02 Yanko24 阅读(169) 评论(0) 推荐(0)

摘要：Flink运行环境_Standalone 只使用Flink自身节点运行的集群模式，也就是我们所谓的（Standalone）模式，也叫... 阅读全文

posted @ 2021-06-07 16:02 Yanko24 阅读(183) 评论(0) 推荐(0)

Flink运行环境_Local

摘要：Flink运行环境_Local 1. 启动Local环境进入解压缩后的路径，执行如下命令 bin/start-cluster.s... 阅读全文

posted @ 2021-06-07 16:01 Yanko24 阅读(99) 评论(0) 推荐(0)

摘要：Flink中如何判断需要几个slot以及任务链的划分 1. 设置全局的并发 object Flink01_WordCount_Cha... 阅读全文

posted @ 2021-06-04 14:57 Yanko24 阅读(178) 评论(0) 推荐(0)

Spark的运行环境_Yarn

摘要：Spark的运行环境_Yarn 独立部署（Standalone）模式由Spark自身提供计算资源，无需其它框架提供资源。这种方式降低... 阅读全文

posted @ 2021-06-03 10:06 Yanko24 阅读(69) 评论(0) 推荐(0)

摘要：Spark的运行环境_Standalone 只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）... 阅读全文

posted @ 2021-06-03 10:05 Yanko24 阅读(83) 评论(0) 推荐(0)

Spark的运行环境_Local

摘要：Spark的运行环境_Local Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行，在国内工作中主流的环境... 阅读全文

posted @ 2021-06-03 10:05 Yanko24 阅读(72) 评论(0) 推荐(0)

摘要：Spark核心编程_累加器和广播变量 1. 累加器累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中... 阅读全文

posted @ 2021-06-02 09:22 Yanko24 阅读(67) 评论(0) 推荐(0)

Spark核心编程_RDD

摘要：Spark核心编程_RDD 1. RDD创建从集合（内存）中创建RDD 从集合中创建RDD，Spark主要提供了两个方法：par... 阅读全文

posted @ 2021-06-02 09:21 Yanko24 阅读(80) 评论(0) 推荐(0)

Spark核心编程

摘要：Spark核心编程 Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构... 阅读全文

posted @ 2021-06-02 09:20 Yanko24 阅读(50) 评论(0) 推荐(0)

xiao儿