学而不思则罔！

2021年11月9日

摘要：在Mac环境搭建Spark项目 1. scala项目搭建 https://www.cnblogs.com/bajiaotai/p/15381309.html 2. 添加pom依赖  <dependencies> <dependency> <groupId>o 阅读全文

posted @ 2021-11-09 15:03 学而不思则罔！阅读(755) 评论(0) 推荐(0)

01_Spark 基本介绍

摘要： 1. Spark 是什么 ##### 1. Spark 是什么 ` Apache Spark is a unified analytics engine for large-scale data processing 1. spark 是一个统一的用来分析大规模数据的分析引擎 2. 它提供了阅读全文

posted @ 2021-11-09 14:27 学而不思则罔！阅读(55) 评论(0) 推荐(0)

2021年11月8日

55_异常处理

摘要：异常处理* 语法* try {* 可疑代码* } catch {* 捕获异常* case 异常1 => {}* case 异常2 => {}* } finally {* 最终执行* }* 说明* 1. try 代码块* 将可疑代码封装在try代码块中,如果发生异常,catch 代码块会处理这个异常* 阅读全文

posted @ 2021-11-08 14:49 学而不思则罔！阅读(53) 评论(0) 推荐(0)

2021年11月7日

54_偏函数

摘要： 1 阅读全文

posted @ 2021-11-07 18:27 学而不思则罔！阅读(16) 评论(0) 推荐(0)

53_模式匹配

摘要： /** 语法* 目标值 match {* case 条件1 => 操作1* case 条件2 => 操作2* case 条件3 => 操作3* case 条件4 => 操作4* case _ => 操作5* }* 返回值操作对应的结果* 说明* 1.都匹配不上时,会进入_分支,如果没有_分支,会报阅读全文

posted @ 2021-11-07 18:27 学而不思则罔！阅读(59) 评论(0) 推荐(0)

2021年11月4日

52_集合_队列

摘要： import scala.collection.mutable /* * 队列 * 操作受限的链表 * */ object QueueTest extends App { var q = mutable.Queue[String]() //1.入队 q.enqueue("java1") q.enqu 阅读全文

posted @ 2021-11-04 20:45 学而不思则罔！阅读(36) 评论(0) 推荐(0)

51_集合_MapReduceComplex(预聚合)

摘要： import scala.collection.mutable object MapReduceComplex extends App { var tp1 = ("Hello Scala Spark World ", 4) var tp2 = ("Hello Scala Spark", 3) var 阅读全文

posted @ 2021-11-04 20:43 学而不思则罔！阅读(56) 评论(0) 推荐(0)

50_集合_MapReduce

摘要：说明:* 1.map使用高级函数时,注意map的元素类型为二元元组 tp:(dataType,dataType)* 2.map没有排序函数,如果要排序,必须先转成list** */ /* * 说明: * 1.map使用高级函数时,注意map的元素类型为二元元组 tp:(dataType,dataTy 阅读全文

posted @ 2021-11-04 20:42 学而不思则罔！阅读(41) 评论(0) 推荐(0)

48_集合_高级函数(filter、map、flatten、flatMap、group、reudce、fold)

摘要： /** 集合的高级计算(filter、map、flatten、flatMap、group、reudce、fold)* 说明* 1.map的元素类型为二元元组 tp:(Any,Any)* 2.map没有排序函数,如果排序,需要先转成list* 1. 过滤* 遍历集合并从中获取满足指定条件的元组,返回阅读全文

posted @ 2021-11-04 20:38 学而不思则罔！阅读(166) 评论(0) 推荐(0)

2021年11月3日

47_集合_简单计算函数(求和、乘积、最大值、最小值、排序)

摘要：集合的简单计算(求和、乘积、最大值、最小值、排序)* 1. 求和* 2. 求乘积* 3. 最大值* 4. 最小值* 5. 排序* 说明* 1.sorted 按数据元素值(默认),正序排序(默认)* 2.sortBy 按指定数据元素值比较(自定义),正序排序(默认)* 3.sortWith 按指定规则阅读全文

posted @ 2021-11-03 16:33 学而不思则罔！阅读(716) 评论(0) 推荐(0)

私人小院

公告