会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
猴子
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
4
5
6
7
8
···
19
下一页
2018年3月15日
Redis集群 主从复制、Sentinel
摘要: 主+从的模式 一主多从 主可以读写 从只能读 从启动时会向主同步数据,主没有,从也会没有(一切以主服务器数据为主) 创建、配置: Sentinel(哨兵):监控主从,当主挂掉时,将一个从变成主,并把所有从指向新主 Sentinel可以配置成分布式的,以防Sentinel挂掉,多个Sentinel之间
阅读全文
posted @ 2018-03-15 14:35 猴子1
阅读(98)
评论(0)
推荐(0)
2018年3月14日
ZK实现HA和负载均衡
摘要: 思路: zk做路由,client从zk那里拿到可用的server地址(最好这里做个缓存),通过自己的负载均衡算法得到要连接的地址,client去连接指定server, server要做的是,当server启动后去zk注册自己(创建临时文件),子节点变化 当某台server宕机,server与zk的链
阅读全文
posted @ 2018-03-14 12:33 猴子1
阅读(609)
评论(0)
推荐(0)
2018年3月13日
Spark计算关键字出现的次数 Java形式
摘要: 数据源: Java代码: 结果:
阅读全文
posted @ 2018-03-13 15:29 猴子1
阅读(260)
评论(0)
推荐(0)
2018年3月7日
RPC协议简单实现
摘要: RPC协议:像调用本地服务一样调用远程服务,可以做进程间通讯和远程控制 代码实现:
阅读全文
posted @ 2018-03-07 10:27 猴子1
阅读(309)
评论(0)
推荐(0)
2018年3月6日
ZK 分布式锁
摘要: 通俗的解释:类似与生活中的排队,所有人都向前一个人看(前面有没有人,他在未获得锁之前有有没走,走了就在向前看一个,一直观察这个,直至得到锁),如果自己的前面没有人,那么自己是第一个(获得锁),获得锁的人,事没做完,锁是不会被解开的,其他人只能等待,直至结束,锁解开,下一个人获得锁 百度了张图(侵权请
阅读全文
posted @ 2018-03-06 16:39 猴子1
阅读(154)
评论(0)
推荐(0)
ZK 监控HDFS HA原理
摘要: 一般HDFS的NN有两个,工作的只有一个,当一个挂掉时,另一个启动,来代替它,原理是利用ZK的临时ZNode 原理:当HDFS的两台NN启动时,ZKFC(Zookeeper FailoverController)也会启动,ZKFC会向ZK上写一个临时序列化的节点(默认节点名是:/hadoop-ha)
阅读全文
posted @ 2018-03-06 13:43 猴子1
阅读(379)
评论(0)
推荐(0)
2018年3月5日
ZK Java API
摘要: 常用接口列表 客户端要连接 Zookeeper 服务器可以通过创建 org.apache.zookeeper. ZooKeeper 的一个实例对象,然后调用这个类提供的接口来和服务器交互。 前面说了 ZooKeeper 主要是用来维护和监控一个目录节点树中存储的数据的状态,所有我们能够操作 ZooK
阅读全文
posted @ 2018-03-05 18:06 猴子1
阅读(270)
评论(0)
推荐(0)
ZK 概述二
摘要: ZK集群选奇数台原因:1、容错:3台,可以允许一台挂掉,4台,也只能允许一天挂掉 2、防脑裂:偶数台,有一定的几率使ZK无法正常工作,而奇数台,无论怎么分都可以正常工作,因为Paxos的超过半数才能通过的规则 Znode节点有两种类型:短暂的(ephemeral)(客户端与ZK连接创建的节点,当连接
阅读全文
posted @ 2018-03-05 17:49 猴子1
阅读(163)
评论(0)
推荐(0)
keepalived与Zookeeper的异同
摘要: 同:都是处理高可用,高并发 异:1、keepalived是主动向Nginx访问,判断Nginx是否正常,而zookeeper是让HDFS、Yarn、Storm等主动去访问zookeeper 2、KP(keepalived)在处理高并发时,由主KP处理,当主KP挂掉时,交由从KP处理,都是一个KP处理
阅读全文
posted @ 2018-03-05 16:36 猴子1
阅读(372)
评论(0)
推荐(0)
Zookeeper 概念、运行原理、配置、启动
摘要: Zookeeper:为了保证分布式数据的一致性,ZK提供通用的分布式锁服务,泳衣协调分布式应用 ZK(Zookeeper)使用的是Paxos算法 ZK分别在Hadoop和HBase中的作用: 在Hadoop中,使用Zk的事件处理确保整个集群只有一个NN(NameNode),存储配置信息等 在HBas
阅读全文
posted @ 2018-03-05 15:12 猴子1
阅读(373)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
···
19
下一页
公告