随笔分类 -  Spark

重新编译Spark2.4.0 Parcels包
摘要：1、下载修改的parcel包 2、使用压缩工具打开parcel、替换需要的jar包，改案例中替换和新增的jar如下： httpclient-4.5.6.jar parquet-format-2.5.0.jar 3、根据文件内容生成hash certutil -hashfile C:\Users\15 阅读全文
posted @ 2021-05-11 15:28 咖啡加冰不加糖~ 阅读(264) 评论(0) 推荐(0)
Sparkthrift合并小文件
摘要：背景 1、许多Spark SQL用户都要求一种方法来控制Spark SQL中的输出文件数； 2、Scala/Java/Python代码中可以使用coalesce()和repartition()方法有效的控制Spark文件数量； 3、但用户需要在SparkSQL服务的SQL语句中使用提示； 4、建议在 阅读全文
posted @ 2021-05-11 15:23 咖啡加冰不加糖~ 阅读(1919) 评论(0) 推荐(0)