摘要：
package sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Demo08ReduceByKey { def main(args: Array[Strin 阅读全文
posted @ 2021-08-20 11:12
tonggang_bigdata
阅读(107)
评论(0)
推荐(0)
摘要：
package sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Demo09Union { def main(args: Array[String]): U 阅读全文
posted @ 2021-07-21 21:27
tonggang_bigdata
阅读(68)
评论(0)
推荐(0)
摘要：
package sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Demo03Filter { def main(args: Array[String]): 阅读全文
posted @ 2021-07-20 20:21
tonggang_bigdata
阅读(78)
评论(0)
推荐(0)
摘要：
spark环境搭建 standalone模式搭建 1、上传解压，配置环境变量 配置bin目录 2、修改配置文件 conf mv spark-env.sh.template spark-env.sh添加以下代码 export SPARK_MASTER_IP=masterexport SPARK_MAS 阅读全文
posted @ 2021-07-19 23:32
tonggang_bigdata
阅读(551)
评论(0)
推荐(0)
摘要：
package sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Demo07GroupByKey { def main(args: Array[String 阅读全文
posted @ 2021-07-16 23:25
tonggang_bigdata
阅读(148)
评论(0)
推荐(1)
摘要：
package sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Demo02Map { def main(args: Array[String]): Uni 阅读全文
posted @ 2021-07-16 23:23
tonggang_bigdata
阅读(57)
评论(0)
推荐(1)
摘要：
Spark概述 Spark定义 spark是一种基于内存的快速、通用、可扩展S的大数据分析计算引擎 Spark Core 中提供了Spark最基础核心的功能 Spark SQL是Spark用来操作结构化数据的组件 Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了 阅读全文
posted @ 2021-07-16 23:18
tonggang_bigdata
阅读(706)
评论(0)
推荐(1)
摘要：
package scalaobject Demo02Base { def main(args: Array[String]): Unit = { /** * 语法基础 * */ // 变量 // 类型推断，自动根据等号右边推断变量的类型 var s = "1" //手动增加类型 var i: Int 阅读全文
posted @ 2021-07-15 08:36
tonggang_bigdata
阅读(51)
评论(0)
推荐(0)
摘要：
恢复内容开始 Hadoop知识点 Hadoop知识点什么是HadoopHadoop和Spark差异Hadoop常见版本，有哪些特点，一般是如何进行选择Hadoop常用端口号搭建Hadoop集群的流程Hadoop中需要哪些配置文件，其作用是什么？HDFS读写流程MapReduce的Shuffle过程， 阅读全文
posted @ 2021-07-12 19:29
tonggang_bigdata
阅读(465)
评论(0)
推荐(0)
浙公网安备 33010602011771号