BigData - 随笔分类(第11页) - 匠人先生

大数据基础之Zookeeper（3）选举算法

摘要：提到zookeeper选举算法，就不得不提Paxos算法，因为zookeeper选举算法是Paxos算法的一个变种； Paxos要解决的问题是：在一个分布式网络环境中有众多的参与者，但是每个参与者都不可靠，可能随时掉线等，这时这些参与者如何针对某个看法达成一致；类似的问题现实生活中有很多，比如一个阅读全文

posted @ 2018-11-01 17:54 匠人先生阅读(1067) 评论(0) 推荐(1)

大数据基础之Zookeeper（2）源代码解析

摘要：核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态：刚启动LOOKING，follower是FOLLOWING，leader是LEADING，observer是OBSERVIN 阅读全文

posted @ 2018-10-31 16:08 匠人先生阅读(563) 评论(0) 推荐(0)

大数据基础之Zookeeper（1）介绍、安装及使用

摘要：zookeeper3.4.11 http://zookeeper.apache.org/ 一简介 ZooKeeper is a centralized service for maintaining configuration information, naming, providing dist 阅读全文

posted @ 2018-10-31 15:55 匠人先生阅读(1225) 评论(0) 推荐(1)

大数据基础之Spark（1）Spark Submit即Spark任务提交过程

摘要：Spark2.1.1 一 Spark Submit本地解析 1.1 现象提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程： hadoop 225 阅读全文

posted @ 2018-10-20 10:08 匠人先生阅读(3328) 评论(0) 推荐(0)

大叔问题定位分享（1）HBase RegionServer频繁挂掉

摘要：最近hbase集群很多region server挂掉，查看其中一个RegionServer1日志发现，17:17:14挂的时候服务器压力很大，有大量的responseTooSlow，也有不少gc，但是当时内存还有很多剩余，不是因为oom被kill 2018-03-13T17:17:13.372+08 阅读全文

posted @ 2018-10-18 17:49 匠人先生阅读(3635) 评论(0) 推荐(1)

Thinking in BigData （1）大数据简介

摘要：提到大数据，就不得不提到Hadoop，提到Hadoop，就不得不提到Google公布的3篇研究论文：GFS、MapReduce、BigTable，Google确实是一家伟大的公司，开启了全球的大数据时代，在《后谷歌时代：大数据的没落与区块链经济的崛起》中如此说道： googol一词的意思是10的1 阅读全文

posted @ 2018-10-16 18:29 匠人先生阅读(563) 评论(0) 推荐(0)

Thinking in BigData

匠人先生

随笔分类 - BigData

公告