摘要：负责的一个任务平台项目的spark版本是1.6.1的，主要变成语言是python； 现阶段要把spark从1.6.1 直接 升级到2.4.6版本，这期间遇到很多问题，特此记录： 1、语法兼容问题 数据平台任务会分成天任务、小时任务，我们会把处理后的数据写入到hive的表里面(分区里面) 比如： 1. 阅读全文

摘要：先说历史情况: 在spark2.0版本之前（比如1.6版本），spark sql如果读取csv格式数据，要导入： <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.11</artifactId> </depe 阅读全文