摘要:
本次学习学习了spark的安装和使用方法 运行代码 Spark shell本身就是一个Driver,里面包含main方法 进入shell界面 ./bin/spark-shell -- master<master-url> <master-url>: local 使用一个CPU本地去运行SPARK:完
阅读全文
posted @ 2024-01-22 17:25
实名吓我一跳
阅读(24)
推荐(0)
摘要:
本次学习了Spark概述,了解了Spark的一些基本概念,为更好的学习 基于内存计算的分布式框架,拥有良好的性能,运行速度快,采用内存计算 scala简介 运行再jvm上,具有强大并发性,支持函数式编程,语法简洁,兼容java,交互式语言 Spark与Hadoop比较 Hadoop:磁盘io开销大,
阅读全文
posted @ 2024-01-21 20:46
实名吓我一跳
阅读(10)
推荐(0)
摘要:
将Scala剩下的函数式编程进行学习 函数式编程 函数字面量 123:整数自变量 1.23 浮点数自变量 'A' 字符自变量 ... 函数自变量:定义一个变量一般去定义一个函数,使得函数也像其他自变量一般有了值,同样拥有类型和值 函数的类型和值 示例: def counter(value: Int)
阅读全文
posted @ 2024-01-20 22:57
实名吓我一跳
阅读(13)
推荐(0)
摘要:
学习了Scala剩下的内容:模式匹配 可以对表达式类型进行匹配 match val colorNum = 1 val colorStr = colorNum match { case 1 => "red" case 2 => "green" case 3 => "yellow" case _ =>
阅读全文
posted @ 2024-01-20 22:52
实名吓我一跳
阅读(18)
推荐(0)
摘要:
学习了Scala语言的面向对象方面的知识 类的定义 class Counter{ private var value = 0 def increment() : Unit = { value += 1 } def current() : Int = { value } } 若只有一行语句,可以写成
阅读全文
posted @ 2024-01-19 17:57
实名吓我一跳
阅读(16)
推荐(0)
摘要:
继续学习了scala语言数据结构: 容器 列表LIst 不可变对象序列,一旦进行初始化,后不可以在被修改 进行初始化 在已有列表前端添加元素,通过::进行实现 需要注意的是。这不会进行修改操作,而是直接生成了另一个List 集合 不重复元素的集合,包括可变集合和不可变集合 若进行导包,导入mutab
阅读全文
posted @ 2024-01-19 17:44
实名吓我一跳
阅读(15)
推荐(0)
摘要:
首先,昨天的学习,进行了解了Spark的生态等等的相关概念,spark底层是进行Scala语言的编写,所以进行学习了Scala语言的一些基础,并做了一些整理: 两种变量: val:不可更改,但必须初始化 var:可以更改,但必须初始化 val指向不能变, 声明变量 会自动推断变量: 完整版声明:名称
阅读全文
posted @ 2024-01-18 16:07
实名吓我一跳
阅读(15)
推荐(0)
摘要:
今天,进行Spark的学习,通过林子雨老师的相关课程,Spark编程的基础(Scala),今天主要进行了第一章,基本概念,基本框架,各组件的了解学习。
阅读全文
posted @ 2024-01-17 20:36
实名吓我一跳
阅读(7)
推荐(0)
posted @ 2024-01-04 20:43
实名吓我一跳
阅读(15)
推荐(0)
摘要:
今天,下午感觉好受多了,然后把报告书写完了,晚上学习了一下vue的使用。
阅读全文
posted @ 2024-01-03 23:00
实名吓我一跳
阅读(6)
推荐(0)