a-tao必须奥利给

2022年7月17日

摘要： spark-sql_DSL sparksql的单词统计 package com.sql import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Demo1WordCount { def main(args: Arr 阅读全文

posted @ 2022-07-17 22:21 a-tao必须奥利给阅读(92) 评论(0) 推荐(0)

spark sql整合hive-重要

摘要： spark sql整合hive 在spark sql中使用hive的元数据 spark sql是使用spark进行计算的，hive使用MR进行计算的 1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 cd /usr/local 阅读全文

posted @ 2022-07-17 21:27 a-tao必须奥利给阅读(407) 评论(0) 推荐(0)

Spark Sql-写sql的方式（不重要）

摘要： Spark Sql spark-sql 写代码方式 1、idea里面将代码编写好打包上传到集群中运行，上线使用 --conf spark.sql.shuffle.partitions=1 -- 设置spark sqlshuffle之后分区数据马，和代码里面设置是一样的，代码中优先级高 spark-s 阅读全文

posted @ 2022-07-17 18:51 a-tao必须奥利给阅读(246) 评论(0) 推荐(0)

2022年7月14日

spark计算引擎，资源调度，任务调度，累加器，广播变量

摘要： Spark 关键词：spark计算引擎，资源调度（申请资源），任务调度（执行task）累加器，广播变量。 spark计算引擎，资源调度（申请资源），任务调度（执行task）注：此此流程使用 yarn-client 模式 1-7 为资源调度（申请资源） 1在本地启动Driver程序 2.向RM申请阅读全文

posted @ 2022-07-14 22:22 a-tao必须奥利给阅读(78) 评论(0) 推荐(0)

2022年7月13日

Spark测试代码求PI的原理

摘要： Spark测试代码求PI的原理原理图代码实现 package com.core.day2 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.util.Ran 阅读全文

posted @ 2022-07-13 13:56 a-tao必须奥利给阅读(128) 评论(0) 推荐(0)

Spark整合yarn

摘要： Spark整合yarn 原因：==在公司一般不适用standalone模式，因为公司一般已经有yarn 不需要搞两个资源管理框架== 停止spark集群在spark sbin目录下执行 ./stop-all.sh spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有阅读全文

posted @ 2022-07-13 13:41 a-tao必须奥利给阅读(138) 评论(0) 推荐(0)

2022年7月12日

Spark集群搭建（不常用,一般使用yarn整合）

摘要： Spark集群搭建（不常用） 1、上传解压，配置环境变量配置bin目录,解压重命名 tar -xvf spark-2.4.5-bin-hadoop2.7.tgz 配置环境变量 mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5 环境变量配置完成后记得source一下阅读全文

posted @ 2022-07-12 23:50 a-tao必须奥利给阅读(86) 评论(0) 推荐(0)

Spark—算子—spark缓存策略

摘要： Spark—算子—spark缓存策略转换算子和操作算子转换算子 ==转换算子：将一个RDD转换成另一个RDD，转换算子是懒执行，需要action算子来触发执行== 操作算子 ==触发任务执行，一个action算子会触发一次任务执行，同时每一个action算子都会触发前面的代码执行== packa 阅读全文

posted @ 2022-07-12 22:54 a-tao必须奥利给阅读(180) 评论(0) 推荐(0)

Spark_常用算子

摘要： Spark_常用算子 sortBy-sortBy: 指定一个字段进行排序，默认是升序, ascending = false：降序 package com.core.day2 import org.apache.spark.rdd.RDD import org.apache.spark.{Spark 阅读全文

posted @ 2022-07-12 22:28 a-tao必须奥利给阅读(56) 评论(0) 推荐(0)

Spark解决问题

摘要： Spark解决问题配置pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLS 阅读全文

posted @ 2022-07-12 13:59 a-tao必须奥利给阅读(34) 评论(0) 推荐(0)

atao-BigData

人生如逆旅，你我亦行人。

公告