摘要： 实验流程 进行主成分分析（PCA） 选择数据集中的 6 个连续型数值变量进行主成分分析。 使用 Spark MLlib 的 PCA 算法，通过 setK() 方法将主成分数量设置为 3。 将连续型特征向量转换为 3 维的主成分，并查看转换后的数据。 验证 PCA 结果 查看转换后的主成分数据，确保降 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Adult 数据集，并上传到 HDFS 或本地文件系统中。 数据导入 编写 Scala 程序，从文件中导入 Adult 数据集，并将其转换为 DataFrame。 查看数据集的基本信息，包括 阅读全文

摘要： 实验流程 测试 Flume 与 Spark Streaming 集成 在 Telnet 终端中输入多条消息，验证 Spark Streaming 应用程序是否能够实时处理这些消息。 例如，输入“Hello Spark”和“Hello Flume”，验证 Spark Streaming 是否能够正确统 阅读全文

摘要： 学习内容 运算符与表达式 学习了 Python 中的算术运算符（+、-、*、/、%、**）。 掌握了比较运算符（==、!=、>、<、>=、<=）和逻辑运算符（and、or、not）。 了解了赋值运算符（=、+=、-= 等）和成员运算符（in、not in）。 控制结构 学习了条件语句 if、elif 阅读全文

摘要： 实验流程 配置 Flume 作为 Spark Streaming 数据源 配置 Flume 的 flume-spark.conf 文件，设置 netcat 源和 avro Sink。 启动 Flume，确保数据能够通过 netcat 源输入，并通过 avro Sink 输出。 编写 Spark St 阅读全文

摘要： 实验流程 使用 netcat 数据源测试 Flume 配置 Flume 的 netcat.conf 文件，设置 netcat 源和 Sink。 在一个终端中启动 Flume。 在另一个终端中使用 telnet localhost 44444 命令连接 Flume。 在 Telnet 终端中输入字符， 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Flume 1.7.0 安装文件，并解压到 /usr/local/flume 目录。 配置 Flume 的环境变量，确保 Flume 能够正常运行。 安装 Flume 参考实验指南，完成 F 阅读全文

摘要： 实验流程 编程实现利用 DataFrame 读写 MySQL 的数据 在 MySQL 数据库中新建数据库 sparktest，并创建表 employee，插入初始数据： 配置 Spark 通过 JDBC 连接 MySQL 数据库。 编写 Scala 程序，读取 MySQL 中的 employee 表 阅读全文

摘要： 实验流程 编程实现将 RDD 转换为 DataFrame 编写 Scala 程序，读取 employee.txt 文件，创建 RDD。 将 RDD 转换为 DataFrame，并定义列名（id、name、age）。 按“id:1,name:Ella ,age:36”的格式打印 DataFrame 的 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 安装 MySQL 数据库，并配置 Spark 的 JDBC 连接支持。 准备实验数据文件 employee.json 和 employee.txt，并上传到 Linux 系统中。 Spark SQ 阅读全文