摘要：
RDD 分区数的设置、访问 spark web界面，查看任务运行状态 目录 RDD 分区数的设置 访问 spark web界面，查看任务运行状态 RDD 分区数的设置 package com.shujia.spark import org.apache.spark.rdd.RDD import or 阅读全文
posted @ 2022-03-07 22:46
阿伟宝座
阅读(394)
评论(0)
推荐(0)
摘要：
RDD基础 RDD的五大特性、spark WordCount流程图 RDD：弹性的分布式数据集，可以理解为一个分布式的List集合 RDD：ResilientDistributedDataset Rdd默认没有数据，它是一个抽象的编程模型 1、RDD的五大特性 (1)由一系列的分区组成。默认一个bl 阅读全文
posted @ 2022-03-07 22:33
阿伟宝座
阅读(339)
评论(0)
推荐(0)
摘要：
Spark的配置和WordCount案例 Spark运行模式: (1)Local：多用于测试 (2)Standalone：独立集群(通常不用) (3)Mesos：(通常不用) (4)YARN：最具前景(管理内存的CPU) (5)k8s：虚拟化模型 一、spark的配置 1、在spark的pom.xm 阅读全文
posted @ 2022-03-07 22:03
阿伟宝座
阅读(123)
评论(0)
推荐(0)
摘要：
spark的介绍 1、什么是spark？ 分布式计算引擎，也是快速通用的大规模数据处理引擎 2、spark的特点 (1)速度快 spark的计算是基于内存的;spark具有优秀的作业调度策略 (2)易使用 spark提供了支持多种语言的API（scala、python、javan、R等; scala 阅读全文
posted @ 2022-03-07 20:04
阿伟宝座
阅读(2746)
评论(0)
推荐(0)
摘要：
1 阅读全文
posted @ 2022-03-07 20:02
阿伟宝座
阅读(31)
评论(0)
推荐(0)
浙公网安备 33010602011771号