摘要：
spark 2.1.1 一 问题重现 spark-submit --master local[*] --class app.package.AppClass --jars /jarpath/zkclient-0.3.jar --driver-memory 1g app.jar 报错 Java Hot 阅读全文
posted @ 2018-12-12 15:38
匠人先生
阅读(2889)
评论(0)
推荐(0)
摘要：
spark 2.1.1 最近spark任务（spark on yarn）有一个报错 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running beyond phys 阅读全文
posted @ 2018-12-11 15:13
匠人先生
阅读(2910)
评论(0)
推荐(1)
摘要：
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在runnin 阅读全文
posted @ 2018-12-07 16:40
匠人先生
阅读(6215)
评论(0)
推荐(1)
摘要：
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded/Total Tasks (for all stages): Succeeded/Total 16 阅读全文
posted @ 2018-12-03 18:21
匠人先生
阅读(7495)
评论(0)
推荐(2)
摘要：
http://parquet.apache.org 层次结构： file -> row groups -> column chunks -> pages(data/index/dictionary) Motivation We created Parquet to make the advantag 阅读全文
posted @ 2018-11-08 17:05
匠人先生
阅读(1059)
评论(0)
推荐(1)
摘要：
https://orc.apache.org Optimized Row Columnar (ORC) file 行列混合存储 层次结构： file -> stripes -> row groups(10000 rows) Background Back in January 2013, we cr 阅读全文
posted @ 2018-11-07 18:19
匠人先生
阅读(2349)
评论(0)
推荐(0)
摘要：
一 freemarker加载模版机制 freemarker中的配置项template_update_delay表明模版的缓存时间，单位是s，超过缓存时间则从磁盘加载最新的模版，具体细节如下： 1）freemarker中获取模版的方法在Configuration中： 2）Configuration的g 阅读全文
posted @ 2018-11-07 17:26
匠人先生
阅读(3427)
评论(0)
推荐(0)
摘要：
一 问题 Dubbo monitor所在服务器状态异常，iowait一直很高，load也一直很高，监控如下： iowait如图： load如图： 二 分析 通过iotop命令可以查看当前系统中磁盘io情况以及进程占用磁盘io的情况 从中可以定位到占用io进程的pid； 通过 cat /proc/${ 阅读全文
posted @ 2018-11-07 17:11
匠人先生
阅读(1250)
评论(0)
推荐(0)
摘要：
kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Soc 阅读全文
posted @ 2018-11-07 16:17
匠人先生
阅读(7548)
评论(2)
推荐(2)
摘要：
kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio 阅读全文
posted @ 2018-11-07 15:50
匠人先生
阅读(4145)
评论(0)
推荐(0)
浙公网安备 33010602011771号