随笔分类 -  源码

上一页 1 2 3
大叔问题定位分享（4）Kafka集群broker节点从zookeeper上消失
摘要：kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio 阅读全文
posted @ 2018-11-07 15:50 匠人先生 阅读(4145) 评论(0) 推荐(0)
大叔问题定位分享（3）Kafka集群broker进程逐个报错退出
摘要：kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉： 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err 阅读全文
posted @ 2018-11-07 15:25 匠人先生 阅读(2345) 评论(1) 推荐(0)
大叔问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
摘要：最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.Ana 阅读全文
posted @ 2018-11-02 15:01 匠人先生 阅读(2676) 评论(0) 推荐(0)
大数据基础之Quartz（1）简介、源代码解析
摘要：一简介 官网 http://www.quartz-scheduler.org/ What is the Quartz Job Scheduling Library? Quartz is a richly featured, open source job scheduling library tha 阅读全文
posted @ 2018-11-02 11:20 匠人先生 阅读(627) 评论(0) 推荐(0)
大数据基础之Azkaban（1）简介、源代码解析
摘要：Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that 阅读全文
posted @ 2018-11-02 11:09 匠人先生 阅读(1967) 评论(0) 推荐(1)
大数据基础之Oozie（1）简介、源代码解析
摘要：Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t 阅读全文
posted @ 2018-11-02 11:05 匠人先生 阅读(2454) 评论(0) 推荐(1)
大数据基础之Zookeeper（3）选举算法
摘要：提到zookeeper选举算法，就不得不提Paxos算法，因为zookeeper选举算法是Paxos算法的一个变种； Paxos要解决的问题是：在一个分布式网络环境中有众多的参与者，但是每个参与者都不可靠，可能随时掉线等，这时这些参与者如何针对某个看法达成一致； 类似的问题现实生活中有很多，比如一个 阅读全文
posted @ 2018-11-01 17:54 匠人先生 阅读(1068) 评论(0) 推荐(1)
大数据基础之Zookeeper（2）源代码解析
摘要：核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态：刚启动LOOKING，follower是FOLLOWING，leader是LEADING，observer是OBSERVIN 阅读全文
posted @ 2018-10-31 16:08 匠人先生 阅读(563) 评论(0) 推荐(0)
大数据基础之Spark（1）Spark Submit即Spark任务提交过程
摘要：Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程： hadoop 225 阅读全文
posted @ 2018-10-20 10:08 匠人先生 阅读(3329) 评论(0) 推荐(0)
大叔问题定位分享（1）HBase RegionServer频繁挂掉
摘要：最近hbase集群很多region server挂掉，查看其中一个RegionServer1日志发现，17:17:14挂的时候服务器压力很大，有大量的responseTooSlow，也有不少gc，但是当时内存还有很多剩余，不是因为oom被kill 2018-03-13T17:17:13.372+08 阅读全文
posted @ 2018-10-18 17:49 匠人先生 阅读(3637) 评论(0) 推荐(1)

上一页 1 2 3