2021 年 1月 11 日随笔档案 - 大浪不惊涛

2021年1月11日

摘要：目录一、Spark中的基本概念二、Spark的运行流程 2.1　Spark的基本运行流程三、Spark在不同集群中的运行架构 3.1　Spark on Standalone运行过程 3.2　Spark on YARN运行过程正文回到顶部一、Spark中的基本概念（1）Applicati 阅读全文

posted @ 2021-01-11 17:41 大浪不惊涛阅读(300) 评论(0) 推荐(0) 编辑

Spark学习之路六、Spark Transformation和Action

摘要：目录 Transformation算子基本的初始化一、map、flatMap、mapParations、mapPartitionsWithIndex 1.1　map 1.2　flatMap 1.3　mapPartitions 1.4　mapPartitionsWithIndex 二、reduce 阅读全文

posted @ 2021-01-11 14:25 大浪不惊涛阅读(69) 评论(0) 推荐(0) 编辑

Spark学习之路五、Spark伪分布式安装

摘要：目录一、JDK的安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本二、配置配置ssh localhost 2.1　检测 2.2　生成私钥和公钥秘钥对 2.3　将公钥添加到authorized_keys 2.4　赋予authorized_keys文件600的权限 2.5 阅读全文

posted @ 2021-01-11 14:24 大浪不惊涛阅读(133) 评论(0) 推荐(0) 编辑

Spark学习之路四、Spark的广播变量和累加器

摘要：目录一、概述二、广播变量broadcast variable 2.1　为什么要将变量定义成广播变量？ 2.2　广播变量图解 2.3　如何定义一个广播变量？ 2.4　如何还原一个广播变量？ 2.5　定义广播变量需要的注意点？ 2.6　注意事项三、累加器 3.1　为什么要将一个变量定义为一个累加器阅读全文

posted @ 2021-01-11 11:54 大浪不惊涛阅读(119) 评论(0) 推荐(0) 编辑

大浪不惊涛

公告