20240111打卡——实验 5:Spark SQL 编程初级实践
做了什么:使用 DataFrame 和 Spark SQL 进行数据查询、Schema 定义。
学到什么:掌握 Spark SQL 和 RDD 的区别,学会使用 DataFrame API 处理结构化数据。
遇到的问题:Hive 连接 Spark 时 hive-site.xml 配置问题,DataFrame schema 处理复杂 JSON 数据时遇到解析错误。
做了什么:使用 DataFrame 和 Spark SQL 进行数据查询、Schema 定义。
学到什么:掌握 Spark SQL 和 RDD 的区别,学会使用 DataFrame API 处理结构化数据。
遇到的问题:Hive 连接 Spark 时 hive-site.xml 配置问题,DataFrame schema 处理复杂 JSON 数据时遇到解析错误。
