2021 年 1月 7 日随笔档案 - 大浪不惊涛

2021年1月7日

摘要：目录一、RDD的概述 1.1　什么是RDD？ 1.2　RDD的属性 1.3　WordCount粗图解RDD 二、RDD的创建方式 2.1　通过读取文件生成的 2.2　通过并行化的方式创建RDD 2.3　其他方式三、RDD编程API 3.1　Transformation 3.2　Action 3. 阅读全文

posted @ 2021-01-07 22:01 大浪不惊涛阅读(120) 评论(0) 推荐(0) 编辑

Spark学习之路二、Spark HA集群的分布式安装

摘要：目录一、下载Spark安装包 1、从官网下载 2、从微软的镜像站下载 3、从清华的镜像站下载二、安装基础三、Spark安装过程 1、上传并解压缩 2、为安装包创建一个软连接 3、进入spark/conf修改配置文件 4、配置环境变量四、启动 1、先启动zookeeper集群 2、在启动HDF 阅读全文

posted @ 2021-01-07 19:32 大浪不惊涛阅读(122) 评论(0) 推荐(0) 编辑

Spark学习之路一、Spark初识

摘要：目录一、官网介绍 1、什么是Spark 二、Spark的四大特性 1、高效性 2、易用性 3、通用性 4、兼容性三、Spark的组成四、应用场景正文回到顶部一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规阅读全文

posted @ 2021-01-07 16:15 大浪不惊涛阅读(91) 评论(0) 推荐(0) 编辑

大浪不惊涛

公告