寒假第十三天

实验流程

1. 编程实现利用 DataFrame 读写 MySQL 的数据

   • 在 MySQL 数据库中新建数据库 sparktest，并创建表 employee，插入初始数据：

      

     

      

   • 配置 Spark 通过 JDBC 连接 MySQL 数据库。

   • 编写 Scala 程序，读取 MySQL 中的 employee 表数据，创建 DataFrame。

   • 插入新增数据到 MySQL 中：

      

     

      

   • 查询 employee 表数据，计算 age 的最大值和总和，并打印结果。

   • 使用 spark-submit 提交应用程序，验证输出结果是否正确。

2. 测试 MySQL 读写程序

   • 运行程序，验证 MySQL 中的数据是否正确插入。

   • 验证 age 的最大值和总和的计算结果是否符合预期。

实验结果

• 成功编写并运行了利用 DataFrame 读写 MySQL 数据的 Scala 程序。

• MySQL 中的 employee 表数据如下：

   

  

   

• 输出结果如下：

   

  

   

• 验证了程序的正确性，MySQL 数据操作和计算结果符合预期。

实验总结

我掌握了如何使用 Spark SQL 通过 JDBC 连接 MySQL 数据库，并实现了数据的读写操作。通过编写 Scala 程序，我成功将数据插入到 MySQL 中，并计算了 age 的最大值和总和。此外，我还学会了如何通过 spark-submit 提交应用程序，并验证了输出结果的正确性。这些实验不仅提高了我的编程能力，也加深了我对 Spark SQL 和 MySQL 数据库操作的理解，为后续的复杂数据处理任务打下了坚实的基础。