●Zookeeper - 随笔分类 - 程序优化

摘要：zookeeper的maxSessionTimeout默认值导致hbase regionserver超时在hbase中经常会遇到regionserver挂掉的情况，查看日志会看到这样的错误信息2016-02-16 11:51:24,882 WARN [master/... 阅读全文

posted @ 2016-02-17 11:42 程序优化阅读(2177) 评论(0) 推荐(0)

摘要：Connection reset by peer的常见原因： 1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；如果知道实际连接服务器的并发客户数没有超过服务器的承载量，看下有没有网络流量异常。可以使用netstat -an查看网络连接情况。 ... 阅读全文

posted @ 2015-09-03 15:06 程序优化阅读(1213) 评论(0) 推荐(0)

摘要：zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。需要注意三点：1.一次性触发器client在一个节点上设置watch，随后节点内容改变，client将获取... 阅读全文

posted @ 2015-06-12 17:07 程序优化阅读(497) 评论(0) 推荐(0)

摘要：ZooKeeper 保证了数据的强一致性， zk集群中任意节点（一个zkServer）上的相同znode下的数据一定是相同的。使用zookeeper可以非常简单的实现分布式锁，其基本逻辑如下：客户端调用create()方法创建名为“locknode/lock”的节点... 阅读全文

posted @ 2015-05-26 19:13 程序优化阅读(187) 评论(0) 推荐(0)

摘要：zookeeper提供顺序一致性、原子性、统一视图、可靠性保证服务zookeeper使用的是zab(atomic broadcast protocol)协议而非paxos协议zookeeper能处理并发地处理多个客户端的写请求，并且以FIFO顺序commit这些写操作... 阅读全文

posted @ 2014-12-10 23:28 程序优化阅读(281) 评论(0) 推荐(0)

摘要：1.部署本章节主要讲述如何部署ZooKeeper，包括以下三部分的内容：系统环境集群模式的配置单机模式的配置系统环境和集群模式配置这两节内容大体讲述了如何部署一个能够用于生产环境的ZK集群。如果仅仅是想在单机上将ZK运行起来，进行一些开发与测试，那么第三部分或许是你的... 阅读全文

posted @ 2014-02-12 18:34 程序优化阅读(354) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)