wangrui0429

摘要： 数据导入与预处理学习目标：掌握如何从文件中导入数据并转化为 DataFrame。学习如何处理数据集中的缺失值和类别型变量。学习内容：下载 Adult 数据集。使用 Scala 代码从文件中读取数据并转化为 DataFrame。处理数据集中的缺失值和类别型变量。学习如何使用 Spark SQL 对 D 阅读全文

摘要： 第十二天：Spark 环境配置与基础学习目标：熟悉 Spark 环境，完成基本配置。学习内容：配置 Spark 和 Scala 环境。启动 Spark Shell，测试环境是否正常运行。学习如何在 Scala 中操作 RDD 和 DataFrame。 spark-shellval data = sc 阅读全文

摘要： 第十一天：完成查重任务 上学期大数据有一个期末作业在做一遍。 实验目的：明确实验的目标和意义。实验内容：详细描述实验过程和代码实现。实验结果：展示实验的输出结果。实验总结：总结实验过程中的收获和不足. （一）编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序 阅读全文

摘要： 第十天：学生成绩统计实验学习任务学习如何读取文件数据并解析为 Scala 数据结构。使用函数式编程方式统计学生成绩，包括平均值、最小值和最大值。按性别分组统计成绩。学习内容文件读取：使用 scala.io.Source 读取文件。数据解析：解析文件内容为 List 或 Array。成绩统计：使用函数 阅读全文

摘要： 第九天：函数式编程基础学习任务学习函数式编程的基本概念，包括匿名函数、高阶函数和不可变数据。使用函数式编程方式处理数据，练习 map、filter 和 reduce 等方法。学习内容函数式编程基础：匿名函数：x => x * 2。高阶函数：map、filter、reduce。不可变数据：val 和不 阅读全文

摘要： 第九天：函数式编程基础学习任务学习函数式编程的基本概念，包括匿名函数、高阶函数和不可变数据。使用函数式编程方式处理数据，练习 map、filter 和 reduce 等方法。学习内容函数式编程基础：匿名函数：x => x * 2。高阶函数：map、filter、reduce。不可变数据：val 和不 阅读全文

摘要： 第八天：模拟图形绘制实验学习任务学习如何定义抽象类和抽象方法。实现 Shape 抽象类，包含 moveTo 和 zoom 方法。实现 Line 类和 Circle 类，继承 Shape 并混入 Drawable 特质。重载 draw 方法，实现图形的绘制。学习内容抽象类和抽象方法：定义抽象类和抽象方 阅读全文

摘要： 第七天：计算级数实验学习任务学习如何通过脚本方式编写 Scala 程序。实现计算级数的程序，计算并输出级数的前 n 项之和 Sn，直到 Sn 大于等于输入的 q。学习内容脚本编写：使用 object 定义主程序。接收键盘输入。级数计算：使用循环和条件语句实现级数计算。代码示例 import scal 阅读全文

摘要： 第六天：实验环境搭建与 Scala 基础语法学习学习任务搭建 Scala 开发环境。学习 Scala 基本语法，包括变量定义、数据类型、控制结构。熟悉 REPL 运行模式，练习基本的 Scala 表达式和函数定义。学习 Scala 的数据结构，包括数组、列表、集合等。类和对象：class 和 obj 阅读全文

摘要： 第五天：网络编程与爬虫基础学习内容：学习 Python 的 socket 库，了解如何使用 socket 创建客户端和服务器端程序，实现简单的网络通信。学习 HTTP 协议的基本概念和请求方法，了解网页的结构和内容。学习使用 Python 的 requests 库发送 HTTP 请求，获取网页内容， 阅读全文