08 2022 档案

HDFS API相关操作，大文件上传、合并、删除、修改、查看，复制、移动等相关操作
摘要：文件合并，大文件IOUtils等的操作，本地文件系统的获取，文件合并上传，合并下载等操作 package com.byd.bigdata.spark.job; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop. 阅读全文

posted @ 2022-08-19 14:15 小人物LOWER 阅读(250) 评论(0) 推荐(0)

SPARK数据倾斜，随机数方式
摘要：1、现象 spark数据倾斜，有两种表现： 大部分的task，都执行的特别特别快，刷刷刷，就执行完了（你要用client模式，standalone client，yarn client，本地机器主要一执行spark-submit脚本，就会开始打印log），task175 finished；剩下几个t 阅读全文

posted @ 2022-08-19 14:10 小人物LOWER 阅读(542) 评论(0) 推荐(0)

Idea打包的多种方式研究
摘要：Idea打包方式 打一个empty只包含编译文件的包，artifact > 点击+ > jar > Empty > Output layout > 选择相关模块下的 complie output即可 打包一个Empty包含编译文件和依赖的包，artifact > 点击+ > jar > Empty 阅读全文

posted @ 2022-08-01 13:58 小人物LOWER