01 2015 档案

zookeeper系列之十一—zookeeper会话超时
摘要：1、会话概述 在Zookeeper中，客户端和服务端建立连接后，会话随之建立，生成一个全局唯一的会话ID（Session ID）。服务器和客户端之间维持的是一个长连接，在SEESSION_TIMEOUT时间内，服务器会确定客户端是否正常连接（客户端会定时向服务器发送heart_beat，服务器重置... 阅读全文
posted @ 2015-01-09 14:13 sunbylm 阅读(210) 评论(0) 推荐(0)
zookeeper系列之十—zookeeper数据模型
摘要：团队博客：http://rdc.taobao.com/team/jm/archives/tag/zookeeper《ZooKeeper快速搭建》http://nileader.blog.51cto.com/1381108/795230《ZooKeeper Java API 使用样例》http://n... 阅读全文
posted @ 2015-01-09 11:42 sunbylm 阅读(136) 评论(0) 推荐(0)
zookeeper系列之九—zookeeper数据模型
摘要：http://nileader.blog.51cto.com/1381108/946788本文主要讲述了Zookeeper的数据模型，包括Zookeeper的数据视图，节点的层次结构以及节点类型等基本属性。Zookeeper的视图结构类似标准的Unix文件系统，但是没有引入文件系统相关概念：目录和文... 阅读全文
posted @ 2015-01-09 11:07 sunbylm 阅读(147) 评论(0) 推荐(0)
zookeeper系列之八—zookeeper分布式锁
摘要：http://jm-blog.aliapp.com/?p=2554 阅读全文
posted @ 2015-01-09 11:00 sunbylm 阅读(129) 评论(0) 推荐(0)
zookeeper系列之七—从远程调用认识zookeeper
摘要：http://www.csdn.net/article/2014-01-02/2817944-zookeeper 在Hadoop的学习过程中，Zookeeper是让很多初学者困惑的技术，远程调用服务是一个很适合zookeeper应用的场景，这里从自己设计的远程调用服务架构谈起，详细介绍了Zookee... 阅读全文
posted @ 2015-01-09 10:57 sunbylm 阅读(728) 评论(0) 推荐(0)
zookeeper系列之六—zookeeper之应用
摘要：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.html Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的应用越来越多。今天我想谈谈zo... 阅读全文
posted @ 2015-01-09 10:11 sunbylm 阅读(221) 评论(0) 推荐(0)
吃喝玩乐系列之一—香蜜湖
摘要：http://kellydeng.blog.163.com/blog/static/5132232011512112732225/北边：侨香路西边：香蜜湖路南边：红荔西路东边：香梅路 阅读全文
posted @ 2015-01-09 09:01 sunbylm 阅读(158) 评论(0) 推荐(0)
zookeeper系列之五—Leader选举算法
摘要：leader选举算法zookeeper server内部原理zookeeper client 阅读全文
posted @ 2015-01-08 15:47 sunbylm 阅读(179) 评论(0) 推荐(0)
zookeeper系列之四—coordinate
摘要：http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html 阅读全文
posted @ 2015-01-08 14:51 sunbylm 阅读(140) 评论(0) 推荐(0)
zookeeper系列之三—zookeeper原理
摘要：http://cailin.iteye.com/blog/2014486 阅读全文
posted @ 2015-01-08 14:14 sunbylm 阅读(209) 评论(0) 推荐(0)
zookeeper系列之二—zookeeper历史
摘要：Zookeeper是什么？ Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby的一个开源版本。它是为分布式应用提供一致性服务的软件，提供的功能包括：配置服务、命名服务、分布式同步、组服务等。Zookeeper目标？ Zookeeper的目标就是封装好... 阅读全文
posted @ 2015-01-07 16:49 sunbylm 阅读(1180) 评论(0) 推荐(0)
zookeeper系列之一—zookeeper入门
摘要：Zookeeper是什么？ Zookeeper故名思议动物管理员，它是拿来管大象（Hadoop）、蜜蜂（Hive）、小猪（Pig）的管理员，Apache Hbase和Apache Solr以及LinkedIn sensei等项目都采用到了Zookeeper。Zookeeper是一个分布式的，开放源... 阅读全文
posted @ 2015-01-07 16:27 sunbylm 阅读(477) 评论(0) 推荐(0)
Storm系列之三——Fault Tolerance
摘要：本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么？ 当worker死了，supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳，Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么？ 分派到这台机器上的任务将会超时并... 阅读全文
posted @ 2015-01-06 15:24 sunbylm 阅读(226) 评论(0) 推荐(0)
Storm系列之二——Guaranteeing Message Processing
摘要：Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理？ 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了，如果它的消... 阅读全文
posted @ 2015-01-06 15:09 sunbylm 阅读(174) 评论(0) 推荐(0)
Storm系列之一——Storm Topology并发
摘要：1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker... 阅读全文
posted @ 2015-01-06 14:17 sunbylm 阅读(272) 评论(0) 推荐(0)
Spark系列之二——一个高效的分布式计算系统
摘要：1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以... 阅读全文
posted @ 2015-01-05 17:11 sunbylm 阅读(1675) 评论(0) 推荐(0)
Spark
摘要：首先，Spark是MapReduce-like（架构上和多数分布式计算框架类似），Spark有分配任务的主节点（Driver）和执行计算的工作节点（Worker）。 其次，Low-latency基本上应该是源于Worker进程较长的生命周期，可以在一个Job过程中长驻内存执行 阅读全文
posted @ 2015-01-04 15:27 sunbylm 阅读(144) 评论(0) 推荐(0)