摘要：
文件合并，大文件IOUtils等的操作，本地文件系统的获取，文件合并上传，合并下载等操作 package com.byd.bigdata.spark.job; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop. 阅读全文
摘要：
1、现象 spark数据倾斜，有两种表现： 大部分的task，都执行的特别特别快，刷刷刷，就执行完了（你要用client模式，standalone client，yarn client，本地机器主要一执行spark-submit脚本，就会开始打印log），task175 finished；剩下几个t 阅读全文