1月12日

今天学习了 Spark SQL 的基本用法。早上了解了 Spark SQL 的架构和数据源，通过创建 DataFrame 并对其进行各种操作，如选择（select）、过滤（filter）、排序（orderBy）等，熟悉了 DataFrame API 的使用。下午尝试使用 Spark SQL 进行结构化数据的查询和分析，编写了一些 SQL 查询语句，并通过 Spark SQL 执行，得到了预期的结果。同时，还学习了如何将 DataFrame 保存为不同的文件格式，如 Parquet 和 JSON。