会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Thinking in BigData
匠人先生
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
31
32
33
34
35
36
37
下一页
2018年12月12日
大叔问题定位分享(8)提交spark任务报错 Caused by: java.lang.ClassNotFoundException: org.I0Itec.zkclient.exception.ZkNoNodeException
摘要: spark 2.1.1 一 问题重现 spark-submit --master local[*] --class app.package.AppClass --jars /jarpath/zkclient-0.3.jar --driver-memory 1g app.jar 报错 Java Hot
阅读全文
posted @ 2018-12-12 15:38 匠人先生
阅读(2889)
评论(0)
推荐(0)
2018年12月11日
大数据基础之Spark(2)Spark on Yarn:container memory allocation容器内存分配
摘要: spark 2.1.1 最近spark任务(spark on yarn)有一个报错 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running beyond phys
阅读全文
posted @ 2018-12-11 15:13 匠人先生
阅读(2910)
评论(0)
推荐(1)
2018年12月7日
大叔经验分享(1)在yarn上查看hive完整执行sql
摘要: hive执行sql提交到yarn上的任务名字是被处理过的,通常只能显示sql的前边一段和最后几个字符,这样就会带来一些问题: 1)相近时间提交了几个相近的sql,相互之间无法区分; 2)一个任务有问题,想看下这个任务具体执行的是什么?是谁的任务? 通过以下方法可以查看: 1)如果任务正在runnin
阅读全文
posted @ 2018-12-07 16:40 匠人先生
阅读(6215)
评论(0)
推荐(1)
2018年12月3日
大叔问题定位分享(7)Spark任务中Job进度卡住不动
摘要: Spark2.1.1 最近运行spark任务时会发现任务经常运行很久,具体job如下: Job Id ▾ Description Submitted Duration Stages: Succeeded/Total Tasks (for all stages): Succeeded/Total 16
阅读全文
posted @ 2018-12-03 18:21 匠人先生
阅读(7495)
评论(0)
推荐(2)
2018年11月8日
大数据基础之Parquet(1)简介
摘要: http://parquet.apache.org 层次结构: file -> row groups -> column chunks -> pages(data/index/dictionary) Motivation We created Parquet to make the advantag
阅读全文
posted @ 2018-11-08 17:05 匠人先生
阅读(1059)
评论(0)
推荐(1)
2018年11月7日
大数据基础之ORC(1)简介
摘要: https://orc.apache.org Optimized Row Columnar (ORC) file 行列混合存储 层次结构: file -> stripes -> row groups(10000 rows) Background Back in January 2013, we cr
阅读全文
posted @ 2018-11-07 18:19 匠人先生
阅读(2349)
评论(0)
推荐(0)
Java基础之Freemarker(1)模板加载及清空机制
摘要: 一 freemarker加载模版机制 freemarker中的配置项template_update_delay表明模版的缓存时间,单位是s,超过缓存时间则从磁盘加载最新的模版,具体细节如下: 1)freemarker中获取模版的方法在Configuration中: 2)Configuration的g
阅读全文
posted @ 2018-11-07 17:26 匠人先生
阅读(3427)
评论(0)
推荐(0)
大叔问题定位分享(6)Dubbo monitor服务iowait高,负载高
摘要: 一 问题 Dubbo monitor所在服务器状态异常,iowait一直很高,load也一直很高,监控如下: iowait如图: load如图: 二 分析 通过iotop命令可以查看当前系统中磁盘io情况以及进程占用磁盘io的情况 从中可以定位到占用io进程的pid; 通过 cat /proc/${
阅读全文
posted @ 2018-11-07 17:11 匠人先生
阅读(1250)
评论(0)
推荐(0)
大叔问题定位分享(5)Kafka客户端报错SocketException: Too many open files 打开的文件过多
摘要: kafka0.8.1 一 问题 10月22号应用系统忽然报错: [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Soc
阅读全文
posted @ 2018-11-07 16:17 匠人先生
阅读(7548)
评论(2)
推荐(2)
大叔问题定位分享(4)Kafka集群broker节点从zookeeper上消失
摘要: kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题,现象是kafka在zookeeper上的broker节点消失,此时kafka进程和端口都在,然后每个broker都在报错,主要是 1) [2017-01-09 12:40:53,832] INFO Partitio
阅读全文
posted @ 2018-11-07 15:50 匠人先生
阅读(4145)
评论(0)
推荐(0)
上一页
1
···
31
32
33
34
35
36
37
下一页
公告