摘要：
1. spark-shell 交互式编程 先下载数据集chapter5-data1.txt，然后将文件上传到Linux系统/home目录下 根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容： （1）该系总共有多少学生 首先读取文件 以逗号为分隔分词 去重操作 取得总数 （2） 阅读全文
posted @ 2022-01-09 20:48 ***Pepsi*** 阅读(272) 评论(0) 推荐(0)
2022年1月9日
2022年1月8日
摘要：
实验要求 实验一： 实验一中使用Scala基础编程，掌握Scala编程的基础知识就可以 使用到while循环 实验二： 实验二完成对类的编写定义 实验三： 结果： 实验三需要掌握Scala中一定函数式编程的知识 在代码中使用到两个函数（方法） 1.统计函数 2.输出函数 阅读全文
posted @ 2022-01-08 20:33 ***Pepsi*** 阅读(35) 评论(0) 推荐(0)
2022年1月7日
摘要：
HDFS 常用操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； 该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一 阅读全文
posted @ 2022-01-07 21:21 ***Pepsi*** 阅读(270) 评论(0) 推荐(0)
2022年1月6日
摘要：
本地运行模式 1.将压缩包spark-3.0.0-bin-hadoop3.2.tgz上传到虚拟机中 2.上传完成后，解压缩到无中文无空格的目录当中 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz 3.解压完之后，重命名文件夹mv spark-3.0.0-bin-had 阅读全文
posted @ 2022-01-06 22:03 ***Pepsi*** 阅读(332) 评论(0) 推荐(0)
2022年1月5日
摘要：
方法一： 从后往前计算出每层的星星数量与空格打印的数量 for (i <- 1 to 9){ val stars = 2*i-1 val spaces = 9-i println(" "*spaces+"*"*stars) } 方法二：引入变量 代码段更少 for (i <- 1 to 9 ; st 阅读全文
posted @ 2022-01-05 20:33 ***Pepsi*** 阅读(49) 评论(0) 推荐(0)
摘要：
使用for循环打印99乘法表 package C04 object test3_Practice99 { //输出99乘法表 def main(args: Array[String]): Unit = { for(i <- 1 to 9){ for (j <- 1 to i){ print(s"${ 阅读全文
posted @ 2022-01-05 20:06 ***Pepsi*** 阅读(67) 评论(0) 推荐(0)
摘要：
1.分支控制if-else让程序有选择的执行，分支控制有三种：单分支，双分支，多分支———————————————————————————————————————————单分支双分支多分支 if-else返回语句的最后一行的值String Int公共父类Any———————————————————— 阅读全文
posted @ 2022-01-05 20:02 ***Pepsi*** 阅读(144) 评论(0) 推荐(0)
2022年1月4日
摘要：
文件读取与写入 package C02 import java.io.{File, PrintWriter}import scala.io.Source object test6_FileIO { def main(args: Array[String]): Unit = { //从文件中读取数据 阅读全文
posted @ 2022-01-04 20:00 ***Pepsi*** 阅读(70) 评论(0) 推荐(0)
2022年1月3日
摘要：
Scala Java++Scala更适合大数据的处理 spark的底层用Scala编写 spark对集合类型数据处理有非常好的支持———————————————————————————————————————————————————————————— 创建Scala文件之前需要先添加框架创建Scal 阅读全文
posted @ 2022-01-03 18:49 ***Pepsi*** 阅读(58) 评论(0) 推荐(0)
2022年1月2日
摘要：
1.安装Linux虚拟机 已经完成安装过 CentOS 7 2.使用Linux系统的常用命令 （1.）切换到目录/usr/bin下 （2.）查看目录/usr/local 下所有的文件； （3）进入/usr 目录，创建一个名为 test 的目录，并查看有多少目录存在； （4）在/usr 下新建目录 t 阅读全文
posted @ 2022-01-02 19:32 ***Pepsi*** 阅读(94) 评论(0) 推荐(0)
2022年1月1日
摘要：
假期准备学习spark，在B站上了解过spark后才明白学习spark之前需要先学习Scala 首先Spark是由Scala语言开发的，所以开发过程中也需要使用到Scala语言 在IDEA中配置Scala环境如下： 1.在IDEA中新建一个maven，命名为scala 2.点击File，打开sett 阅读全文
posted @ 2022-01-01 15:56 ***Pepsi*** 阅读(167) 评论(0) 推荐(0)
2021年12月18日
摘要：
大三上半学期转眼就进入了尾声，又是一个充满了代码和压力的学期，疫情好转但是疫情防控不容忽视，所以自从开学到校之后依旧是不能够自由进出校园。 大三上学期学习了很多东西，建民老师教学的新内容，知识多且任务重，开学学习大型数据库，配置并且学会了使用Hadoop，hive，hbase等等 本学期让我最印象深 阅读全文
posted @ 2021-12-18 13:32 ***Pepsi*** 阅读(37) 评论(0) 推荐(0)
2021年12月13日
摘要：
软件乃是人类自以为最有把握，实则最难掌控的技术。 推荐序一 大多数技术类书籍只是讲技术和理论，但我们不知道在真实的软件开发过程中，这些技术和理论究竟是被什么样的人如何去使用？ 《梦断代码》向我们展示了硅谷一流软件开发者是如何进行产品开发的，把真实的人，事，技术以及产品的发展过程结合在一起，每个有志于 阅读全文
posted @ 2021-12-13 17:03 ***Pepsi*** 阅读(51) 评论(0) 推荐(0)
2021年12月3日
摘要：
第十七章 人、绩效和职业道德 ①RASCI模型 R：Responsible，负责把具体事情做好 A：Accountable，对任务负全责，有批准的权利 S：Support，对任务提供支持，辅助任务的完成 C：Consulted，咨询，拥有完成项目所需的信息或能力的角色 I：Informed，知会者， 阅读全文
posted @ 2021-12-03 16:11 ***Pepsi*** 阅读(53) 评论(0) 推荐(0)
2021年12月2日
摘要：
第十三章 软件测试 13.1 名词解释 Bug ：软件的缺陷 Test Case ：测试用例。测试用例描述了一个完整的测试过程，包括测试环境、输入、期望的结果等 Test Suite ：测试用例集。即一组相关的测试用例 13.2 Bug解释与实例 ①Bug可以分解为：症状（Symptom）、程序错误 阅读全文
posted @ 2021-12-02 16:10 ***Pepsi*** 阅读(44) 评论(0) 推荐(0)
浙公网安备 33010602011771号