随笔分类 -  源码

摘要:kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题,现象是kafka在zookeeper上的broker节点消失,此时kafka进程和端口都在,然后每个broker都在报错,主要是 1) [2017-01-09 12:40:53,832] INFO Partitio 阅读全文
posted @ 2018-11-07 15:50 匠人先生 阅读(4145) 评论(0) 推荐(0)
摘要:kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉: 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err 阅读全文
posted @ 2018-11-07 15:25 匠人先生 阅读(2345) 评论(1) 推荐(0)
摘要:最近用yarn cluster方式提交spark任务时,有时会报错,报错几率是40%,报错如下: 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.Ana 阅读全文
posted @ 2018-11-02 15:01 匠人先生 阅读(2676) 评论(0) 推荐(0)
摘要:一简介 官网 http://www.quartz-scheduler.org/ What is the Quartz Job Scheduling Library? Quartz is a richly featured, open source job scheduling library tha 阅读全文
posted @ 2018-11-02 11:20 匠人先生 阅读(627) 评论(0) 推荐(0)
摘要:Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that 阅读全文
posted @ 2018-11-02 11:09 匠人先生 阅读(1967) 评论(0) 推荐(1)
摘要:Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t 阅读全文
posted @ 2018-11-02 11:05 匠人先生 阅读(2454) 评论(0) 推荐(1)
摘要:提到zookeeper选举算法,就不得不提Paxos算法,因为zookeeper选举算法是Paxos算法的一个变种; Paxos要解决的问题是:在一个分布式网络环境中有众多的参与者,但是每个参与者都不可靠,可能随时掉线等,这时这些参与者如何针对某个看法达成一致; 类似的问题现实生活中有很多,比如一个 阅读全文
posted @ 2018-11-01 17:54 匠人先生 阅读(1068) 评论(0) 推荐(1)
摘要:核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态:刚启动LOOKING,follower是FOLLOWING,leader是LEADING,observer是OBSERVIN 阅读全文
posted @ 2018-10-31 16:08 匠人先生 阅读(563) 评论(0) 推荐(0)
摘要:Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令: spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程: hadoop 225 阅读全文
posted @ 2018-10-20 10:08 匠人先生 阅读(3329) 评论(0) 推荐(0)
摘要:最近hbase集群很多region server挂掉,查看其中一个RegionServer1日志发现,17:17:14挂的时候服务器压力很大,有大量的responseTooSlow,也有不少gc,但是当时内存还有很多剩余,不是因为oom被kill 2018-03-13T17:17:13.372+08 阅读全文
posted @ 2018-10-18 17:49 匠人先生 阅读(3637) 评论(0) 推荐(1)