2021年11月10日
[spark][sql]Spark中使用RDD.toDF()由于数据类型不同带来的bug记录
摘要： Spark转换RDD到DF时，因数据类型不同带来的问题记录 问题描述 环境 注意！！！ 在spark3+中，此bug是否还存在待证实。 spark2.4.5 pyspark 目标逻辑 在使用Spark过程中，需要将保存数据列表的RDD转换为DataFrame写入hive表中。 问题发生 在列表数据转 阅读全文
posted @ 2021-11-10 17:10 riaris 阅读(563) 评论(0) 推荐(0)