私人小院

摘要： 1 阅读全文

摘要： 1. 使用说明 /* * TODO 使用说明 * 在大表 关联 小表时,可以将小表读取到本地内存(Driver),再作为一个只读变量发分到Executor端读取, * 这样操作避免了shuffle操作,大大提高了join效率 * * */ 2.广播变量实现 join /* 广播变量实现 join * 阅读全文

摘要： 1.可变数组-ArrayBuffer 1.1 创建一个数组对象 2.不可变数组-Array 3.可变数组和不可变数组的区别 阅读全文

摘要： /* * TODO 关于 SparkConf 的作用 * 1. spark的配置对象 用来初始化 Spark application 的配置信息 * 2. 用 SparkConf.set("key","value") 的方式来注入配置信息 * 3. 用 SparkConf对象 指定的配置信息,优先级 阅读全文

摘要： object TestRandom extends App { //创建随机数对象 private val random = new Random() private val random1 = Random //获取 整数随机数 //random.nextInt(x) 返回一个 [0,x）随机整数 阅读全文

摘要： 1 阅读全文

摘要： 1.赋值指令 var='变量内容' var="变量内容" var=`command` var=$(command) var=变量内容 2.格式要求 =两边不能有空白字符 错误示例 var = 2222 ❎ 3.变量命名规范 环境变量大写 JAVA_HOME、SPARK_HOME 自定义变量小写 va 阅读全文

摘要： 1. https://mvnrepository.com 这个网站可以干什么？ 用来查询 maven依赖的网站,只提供了pom依赖信息,并提供下载jar的功能 2. 这个网站 应该怎样使用呢？ 2.1 需求1 : 在IDEA用maven搭建sparkSQL开发环境时,pom文件的依赖怎么添加呢？ 1 阅读全文

摘要： 1. 创建maven项目 在IDEA中添加scala插件 并添加scala的sdk https://www.cnblogs.com/bajiaotai/p/15381309.html 2. 相关依赖jar的引入 配置pom.xml 2.1 pom.xml 示例 (spark版本: 3.0.0 sca 阅读全文

摘要： https://blog.csdn.net/u012608836/article/details/59056324 阅读全文