摘要: 负责的一个任务平台项目的spark版本是1.6.1的,主要变成语言是python; 现阶段要把spark从1.6.1 直接 升级到2.4.6版本,这期间遇到很多问题,特此记录: 1、语法兼容问题 数据平台任务会分成天任务、小时任务,我们会把处理后的数据写入到hive的表里面(分区里面) 比如: 1. 阅读全文
posted @ 2020-09-25 19:03 niutao 阅读(1351) 评论(2) 推荐(1) 编辑