随笔分类 -  分布式

HBase设计与开发性能优化(转)
摘要:本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region 阅读全文

posted @ 2016-03-02 11:02 舒润 阅读(185) 评论(0) 推荐(0)

通过Java Api与HBase交互(转)
摘要:HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。 import java.io.IOException; import org.apache.hadoop.conf.Configura 阅读全文

posted @ 2016-03-02 11:01 舒润 阅读(319) 评论(0) 推荐(0)

HBase配置性能调优(转)
摘要:因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionS 阅读全文

posted @ 2016-03-02 11:01 舒润 阅读(208) 评论(0) 推荐(0)

HBase Java API类介绍
摘要:几个相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库(DataBase) HBaseConfiguration HTable 表(Table) HTableDescriptor 列族(Column Family) Put 列修饰符(Column 阅读全文

posted @ 2016-03-02 11:00 舒润 阅读(761) 评论(0) 推荐(0)

hbase shell基础和常用命令详解(转)
摘要:HBase shell的基本用法 hbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。通过执行 help可以看到命令的帮助信息。 以网上的一个学生成绩表的例子来演示hbase的用法。 name grad course math art Tom 5 97 87 阅读全文

posted @ 2016-03-02 10:59 舒润 阅读(3185) 评论(0) 推荐(1)

HBase体系结构(转)
摘要:HBase的服务器体系结构遵循简单的主从服务器架构,它由HRegion服务器(HRegion Server)群和HBase Master服务器(HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器,而HBase中所有的服务器都是通过ZooKe 阅读全文

posted @ 2016-03-02 10:59 舒润 阅读(401) 评论(0) 推荐(0)

HBase使用场景和成功案例 (转)
摘要:HBase 使用场景和成功案例 有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。 注意:不要自我限制,认为HBase只 阅读全文

posted @ 2016-03-02 10:58 舒润 阅读(5683) 评论(0) 推荐(0)

zookeeper系列之通信模型(转)
摘要:本文的主题就是讲解Zookeeper通信模型,本节将通过一个概要图来说明Zookeeper的通信模型。 Zookeeper的通信架构 在Zookeeper整个系统中,有3中角色的服务,client、Follower、leader。其中client负责发起应用的请求,Follower接受client发 阅读全文

posted @ 2016-03-02 10:57 舒润 阅读(287) 评论(0) 推荐(0)

Zookeeper全解析——Client端(转)
摘要:Zookeeper的Client直接与用户打交道,是我们使用Zookeeper的interface。了解ZK Client的结构和工作原理有利于我们合理的使用ZK,并能在使用中更早的发现问题。本文将在研究源码的技术上讲述ZK Client的工作原理及内部工作机制。 在看完ZK Client的大致架构 阅读全文

posted @ 2016-03-02 10:56 舒润 阅读(427) 评论(0) 推荐(0)

Zookeeper Api(java)入门与应用(转)
摘要:如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到 阅读全文

posted @ 2016-03-02 10:55 舒润 阅读(233) 评论(0) 推荐(0)

Zookeeper全解析——Paxos作为灵魂(转)
摘要:原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。 那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server 阅读全文

posted @ 2016-03-02 10:55 舒润 阅读(207) 评论(0) 推荐(0)

ZooKeeper程序员指南(转)
摘要:译自http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html 1 简介 本文是为想要创建使用ZooKeeper协调服务优势的分布式应用的开发者准备的。本文包含理论信息和实践信息。 本指南的前四节对各种ZooKeeper概念进行较高 阅读全文

posted @ 2016-03-02 10:51 舒润 阅读(1012) 评论(0) 推荐(0)

ZooKeeper概述(转)
摘要:译自http://zookeeper.apache.org/doc/trunk/zookeeperOver.html ZooKeeper是一个用于分布式应用的开源分布式协调服务。它提供了简单的原语集合,分布式应用可在这些原语之上构建用于同步、配置维护、分组和命名的高层服务。ZooKeeper的设计使 阅读全文

posted @ 2016-03-02 10:42 舒润 阅读(185) 评论(0) 推荐(0)

ZooKeeper典型应用场景(转)
摘要:ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的 阅读全文

posted @ 2016-03-02 10:30 舒润 阅读(226) 评论(0) 推荐(0)

部署与管理ZooKeeper(转)
摘要:本文以ZooKeeper3.4.3版本的官方指南为基础:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,补充一些作者运维实践中的要点,围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门,关于这方 阅读全文

posted @ 2016-03-02 10:22 舒润 阅读(226) 评论(0) 推荐(0)

apache整合tomcat部署集群
摘要:近日,由于公司项目需要,所以学习了apache整合tomcat以及集群的一些知识。 所以做下笔记日后回顾可以用到。 apache只有处理静态事物的能力, 而tomcat的强项就是处理动态的请求,所以apache和tomcat整合相互取长补短,由apache作为入口,如果是请求静态页面或者是静态文件, 阅读全文

posted @ 2016-02-23 19:42 舒润 阅读(1088) 评论(0) 推荐(0)

Elastic-Job - 分布式定时任务框架
摘要:Elastic-Job - 分布式定时任务框架 摘要 Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。 阅读全文

posted @ 2016-01-29 13:48 舒润 阅读(3638) 评论(0) 推荐(0)

【大数据笔记】白话详解Zookeeper的一致性
摘要:下面内容主要摘抄于<<Hadoop实战>>,红色高亮部分是本人添加的白话注释. Zookeeper 是一种高性能、可扩展的服务。 Zookeeper 的读写速度非常快,并且读的速度要比写的速度更快。另外,在进行读操作的时候, ZooKeeper 依然能够为旧的数据提供服务。这些都是由于 ZooKee 阅读全文

posted @ 2016-01-29 11:11 舒润 阅读(1745) 评论(0) 推荐(0)

云端中间层负载均衡工具 Eureka
摘要:亚马逊提供了一个负载均衡工具 Elastic Load Balancer,但针对的是终端用户 Web 流量服务器,而 Eureka 针对的是中间层服务器的负载均衡。AWS 固有的环境,对 IP 地址、主机名等传统的负载均衡支持并不好,并且需要更加复杂的注册/退出机制。Eureka 填补了这一空白。本 阅读全文

posted @ 2016-01-28 15:04 舒润 阅读(466) 评论(0) 推荐(0)

Zookeeper配置文件参数与含义
摘要:zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # 阅读全文

posted @ 2016-01-27 10:06 舒润 阅读(4170) 评论(0) 推荐(0)

导航