2022 年 1月 27 日随笔档案 - 菜霸

2022年1月27日

Spark on Yarn出现hadoop.compression.lzo.LzoCodec not found问题发现及解决

摘要：问题描述： spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37 Exception in thread "main" java.lang.RuntimeException: Error in conf 阅读全文

posted @ 2022-01-27 14:09 菜霸阅读(341) 评论(0) 推荐(0)

Hive udf 或者 spark maven打包问题

摘要：正常打包maven pom配置如下 <properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> <hive.version>1.2.1</hive.version> </properties> <dep 阅读全文

posted @ 2022-01-27 14:04 菜霸阅读(447) 评论(0) 推荐(0)