Spark - 随笔分类(第3页) - happygril3

Map

摘要：import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD //map(func) object rdd2 { def main(args: Array[String]): Unit = { // 阅读全文

posted @ 2020-09-18 15:18 happygril3 阅读(187) 评论(0) 推荐(0)

wordCount

摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2020-09-18 10:10 happygril3 阅读(116) 评论(0) 推荐(0)

介绍

摘要：Yarn：资源调度，解决mapreduce计算问题，把任务调度（AM）和资源调度(RM)分开 spark：任务调度和资源调度分开资源调度：用自己的资源调度：master+worker 用yarn的资源调度：resourceManager+nodeManager 计算：用spark自己的计算：d 阅读全文

posted @ 2020-08-28 18:24 happygril3 阅读(121) 评论(0) 推荐(0)

happygril3

随笔分类 - Spark

导航

公告