2013年12月4日

jvm内存查看与分析工具

摘要: 2.3 JVM的垃圾收集策略 GC的执行时要耗费一定的CPU资源和时间的,因此在JDK1.2以后,JVM引入了分代收集的策略,其中对新生代采用"Mark-Compact"策略,而对老生代采用了“Mark-Sweep"的策略。其中新生代的垃圾收集器命名为“minor gc”,老生代的GC命名... 阅读全文

posted @ 2013-12-04 16:10 代码王子 阅读(172) 评论(0) 推荐(0)

JVM内存模型及垃圾收集策略解析

摘要: JVM内存模型是Java的核心技术之一,之前51CTO曾为大家介绍过JVM分代垃圾回收策略的基础概念,现在很多编程语言都引入了类似Java JVM的内存模型和垃圾收集器的机制,下面我们将主要针对Java中的JVM内存模型及垃圾收集的具体策略进行综合的分析。 一 JVM内存模型 1.1 Java栈... 阅读全文

posted @ 2013-12-04 16:07 代码王子 阅读(141) 评论(0) 推荐(0)

CopyOnWriteArrayList

摘要: 除了加锁外,其实还有一种方式可以防止并发修改异常,这就是将读写分离技术(不是数据库上的)。 先回顾一下一个常识: 1、JAVA中“=”操作只是将引用和某个对象关联,假如同时有一个线程将引用指向另外一个对象,一个线程获取这个引用指向的对象,那么他们之间不会发生ConcurrentModific... 阅读全文

posted @ 2013-12-04 15:29 代码王子 阅读(177) 评论(0) 推荐(0)

Herriot

摘要: Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架,它的出现主要是为了尽可能地模拟真实的大规模分布式系统,并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似,Herriot也采用了JUnit框架,此外,Herriot还引入了面向切... 阅读全文

posted @ 2013-12-04 01:31 代码王子 阅读(298) 评论(0) 推荐(0)

Prefix tree

摘要: Prefix tree The trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its sim... 阅读全文

posted @ 2013-12-04 01:10 代码王子 阅读(260) 评论(0) 推荐(0)

hadoop 测试框架

摘要: hadoop 0.21以前的版本中(这里拿0.20为例,其他版本可能有少许不同),所有的测试相关代码都是放置在${HADOOP_HOME}/src/test下,在该目录下,是按照不同的目录来区分针对不同模块的测试代码。这里需要了解的是:对于相应的hadoop代码和class的包结构,在test中... 阅读全文

posted @ 2013-12-04 01:01 代码王子 阅读(642) 评论(0) 推荐(0)

Hadoop RPC

摘要: hadoop rpc机制 && 将avro引入hadoop rpc机制初探 1 RPC RPC(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。 2 hadoop.ipc 2.1 Server RPC Se... 阅读全文

posted @ 2013-12-04 00:52 代码王子 阅读(145) 评论(0) 推荐(0)

HFile

摘要: HFile存储格式 HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括两种文件类型: 1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底... 阅读全文

posted @ 2013-12-04 00:48 代码王子 阅读(357) 评论(0) 推荐(0)

hbase介绍

摘要: 一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007... 阅读全文

posted @ 2013-12-04 00:46 代码王子 阅读(174) 评论(0) 推荐(0)

Paxos 算法

摘要: 1 概述 Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。[1] 这个算法被认为是类似算法中最有效的。 2写在之前 Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)... 阅读全文

posted @ 2013-12-04 00:42 代码王子 阅读(174) 评论(0) 推荐(0)

ZooKeeper leader election

摘要: Paxos是分布式应用中解决同步问题的核心。作为应用研发工程师,我们总是倾向于使用一种相对简洁的方式实现复杂的算法。ZooKeeper leader election实现就是一个非常好的参考。 其实现比标准Paxos算法简单,基本过程是: 1 ... 阅读全文

posted @ 2013-12-04 00:39 代码王子 阅读(363) 评论(0) 推荐(0)

zookeeper 应用开发

摘要: 由于zookeeper的client只有zookeeper一个对象,使用也比较简单,所以就不许要文字说明了,在代码中注释下就ok 了。 1、测试用的main方法 package ClientExample;public class TestMain { public static void ma... 阅读全文

posted @ 2013-12-04 00:09 代码王子 阅读(353) 评论(0) 推荐(0)

ZooKeeper 数据模型

摘要: 本文主要讲述ZooKeeper的数据模型,包括ZooKeeper的数据视图,节点的层次结构以及节点类型等基本属性。Zookeeper的视图结构类似标准的Unix文件系统,但是没有引入文件系统相关概念:目录和文件,而是使用了自己特有的节点(node)概念,称为znode。Znode是ZooKeep... 阅读全文

posted @ 2013-12-04 00:07 代码王子 阅读(161) 评论(0) 推荐(0)

zookeeper 原理

摘要: zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用 zookeeper的... 阅读全文

posted @ 2013-12-04 00:05 代码王子 阅读(175) 评论(0) 推荐(0)

导航