摘要:由于现在项目采用的是 jboot 框架,升级最新版本2.1.5后,需要将原来的webroot资源改到 src/main/webapp目录下, 发现转移后,通过框架的app.java入口main函数无法将新增过来的webapp资源更新到target/classes下面, 所以用下面maven配置文件 阅读全文
posted @ 2019-08-02 11:39 菜霸 阅读(2129) 评论(0) 推荐(0) 编辑
摘要:idea不像eclipse那样自动将新保存的文件或目录及其他资源更新到target目录中,必须在pom.xml中设置 这样maven clean 就可以了! 阅读全文
posted @ 2018-03-26 16:18 菜霸 阅读(26860) 评论(1) 推荐(5) 编辑
摘要:Hive表压缩功能 除了直接配置MapReduce压缩功能外,Hive的ORC表和Parquet表直接支持表的压缩属性。 但支持的压缩格式有限,ORC表支持None、Zlib、Snappy压缩,默认为ZLIB压缩。但这3种压缩格式不支持切分,所以适合单个文件不是特别大的场景。使用Zlib压缩率高,但 阅读全文
posted @ 2021-06-23 17:06 菜霸 阅读(46) 评论(0) 推荐(0) 编辑
摘要:上传txt文件到hdfs,txt文件大小是74左右。 这里提醒一下,是不是说parquet加lzo可以把数据压缩到这个地步,因为我的测试数据存在大量重复。所以下面使用parquet和lzo的压缩效果特别好。 创建hive表,使用parquet格式存储数据 不可以将txt数据直接加载到parquet的 阅读全文
posted @ 2021-06-23 15:34 菜霸 阅读(46) 评论(0) 推荐(0) 编辑
摘要:echo 3 > /proc/sys/vm/drop_caches 记一次 经常用 exp 导出oracle全量数据库,发现linux内存一直在减小没有释放,即使 oracle重启也不行,只有重新启动linux系统才可以。 查看 free 发现 cache过大 , 那么用上述命令即可 释放所有的缓存 阅读全文
posted @ 2021-06-14 18:08 菜霸 阅读(26) 评论(0) 推荐(0) 编辑
摘要:java ssh远程服务器并执行多条命令 import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import j 阅读全文
posted @ 2021-06-14 15:59 菜霸 阅读(38) 评论(0) 推荐(0) 编辑
摘要:正常来说java调用shell命令就是用 String[] cmdAry = new String[]{"/bin/bash","-c",cmd} Runtime.getRuntime().exec(cmdAry); 实际上就是创建个子进程去执行这个命令。 问题来了: 如果我执行下面这句命令 exp 阅读全文
posted @ 2021-06-11 17:09 菜霸 阅读(9) 评论(0) 推荐(0) 编辑
摘要:kafka的事务指的是2个点 ① 生产者到kafka服务端的事务保障 ②消费者从kafka拉取数据的事务 kafka提供的事务机制是 第①点, 对于第②点来说 只能自己在消费端实现幂等性。 我们来介绍第①点, 因为生产者producer写到kafka可能会出现消息重复,比如 设置ack=all,写入 阅读全文
posted @ 2021-05-26 18:15 菜霸 阅读(62) 评论(0) 推荐(0) 编辑
摘要:做过Linux运维的朋友都知道,我们一般很少直接与服务器接触。都是通过终端来连接处理一些事物。 本人常用的终端有图形界面的是vnc viewer还有命令行界面xshell,当然各有千秋,喜欢使用哪个都可以。 下面简单介绍一下,使用vncserver 连接Linux的操作步骤。 1.Linux安装 v 阅读全文
posted @ 2021-05-14 14:54 菜霸 阅读(115) 评论(0) 推荐(0) 编辑
摘要:Spark分区数、task数目、core数目、worker节点数目、executor数目梳理 spark隐式创建由操作组成的逻辑上的有向无环图。驱动器执行时,它会把这个逻辑图转换为物理执行计划,然后将逻辑计划转换为一系列的步骤(stage),每个步骤由多个任务组成。 步骤组成任务、数据组成任务。所以 阅读全文
posted @ 2021-05-08 16:34 菜霸 阅读(70) 评论(0) 推荐(0) 编辑
摘要:在SparkConf上设置的属性具有最高的优先级,其次是传递给spark-submit或者spark-shell的属性值,最后是spark-defaults.conf文件中的属性值 阅读全文
posted @ 2021-05-06 17:25 菜霸 阅读(60) 评论(0) 推荐(0) 编辑
摘要:有时候第一次执行 spark submit --master local[*] 单机模式的时候,可以对linux本地路径进行输出。但是有时候提交到yarn的时候,是自动加上hdfs的路径这没问题, 但是接下来在执行 local模式的时候 出现问题了,本地绝对路径也自动加上了hdfs://的前缀。 那 阅读全文
posted @ 2021-05-06 17:24 菜霸 阅读(69) 评论(0) 推荐(0) 编辑