lihui1625 - 博客园

2014年12月21日

摘要： http://blog.csdn.net/kthq/article/details/8618052 堆内存设置原理 JVM堆内存分为2块：Permanent Space 和 Heap Space。 Permanent 即持久代（Permanent Generation），主要存放的是Java类定阅读全文

posted @ 2014-12-21 10:18 lihui1625 阅读(102) 评论(0) 推荐(0)

2014年12月20日

RegionServer 的JVM 垃圾回收优化

摘要： 1、为何HMaster一般不需调整垃圾回收机制 HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，所以垃圾回收时 HMaster 通常不会产生问题。 2、描述JRE的启发式算法 JRE 在默认情况下会按照一般情况下来估计程序在做什么、怎么创建对象、如何分配堆内存处理数据，阅读全文

posted @ 2014-12-20 09:20 lihui1625 阅读(176) 评论(0) 推荐(0)

2014年12月19日

快速排序

摘要： public class QuickSortUtil { public static void sort(int[] array) { sort(array, 0, array.length - 1); } private static void sort(int[]... 阅读全文

posted @ 2014-12-19 17:48 lihui1625 阅读(100) 评论(0) 推荐(0)

2014年12月17日

ZooKeeper 处理master, slaves, client 关系

摘要：假设出现 ConnectionLoss 的直接重试。假设判断框下边为Y，右边为N 1. 连接流程 2. Master 竞争流程 3、Master 工作流程其中故障恢复的流程 4、Worker工作流程 5、Client工作流程阅读全文

posted @ 2014-12-17 17:08 lihui1625 阅读(270) 评论(0) 推荐(0)

2014年12月15日

ZooKeeper 笔记

摘要： 1、分布式系统常见问题部分失败：发生网络错误时候，发送者不知道接受者是否已经收到信息，接收者可能收到、可能没有、可能进程已死。发送者需要重新连接接收者，再次发送以确认。 2、ZooKeeper 用于正确处理部分失败‘，其特点是 (1)、ZooKeeper 核心是一个精简的文件系统，提供排序、通知等阅读全文

posted @ 2014-12-15 21:22 lihui1625 阅读(126) 评论(0) 推荐(0)

2014年12月14日

深入分析HBase-Phoenix执行机制与原理

摘要： http://www.binospace.com/index.php/in-depth-analysis-hbase-phoenix/ 深入分析HBase-Phoenix执行机制与原理七月 1st, 2013 by klose | Posted under 互联网应用, 海量数据存储与处理. 针对阅读全文

posted @ 2014-12-14 17:21 lihui1625 阅读(908) 评论(0) 推荐(0)

Cloudera Impala官方文档中文翻译-2（Using Impala to Query HBase Tables）

摘要： http://blog.csdn.net/jiadebin890724/article/details/40622575 Using Impala to Query HBase Tables（利用impala查询HBase Tables）默认情况下，impala table使用存储在HDFS中的数阅读全文

posted @ 2014-12-14 16:18 lihui1625 阅读(447) 评论(0) 推荐(0)

2014年11月29日

HBase 的 HA (高可用性)

摘要： http://www.importnew.com/3020.html http://www.linuxidc.com/Linux/2014-01/95794.htm 1、概述至于HMaster，HBase自身是不存在单点故障的。HBase使用ZooKeerper作为中央控制服务。ZooKeeper 阅读全文

posted @ 2014-11-29 10:33 lihui1625 阅读(252) 评论(0) 推荐(0)

2014年11月26日

Hadoop-0.23.9 + HBase 0.94.12 配置

摘要： 1. Hadoop 下载hadoop-0.23.9-src.tar.gz，解压，在Linux 下编译，其中会遇到各种错误，主要是linux 软件包安装问题修改core-site.xml ：修改hdfs-site.xml：修改master，设置SecondaryNameNode：修改sl 阅读全文

posted @ 2014-11-26 10:04 lihui1625 阅读(124) 评论(0) 推荐(0)

2014年11月24日

Hadoop HBase Phoenix 版本

摘要： Hadoop 19 November, 2014: 2.5.2 12 September, 2014: 2.5.1 11 August, 2014: 2.5.0 30 June, 2014: 2.4.1 27 June, 2014: 0.23.11 07 April, 2014: 2.4.0 20 阅读全文

posted @ 2014-11-24 17:21 lihui1625 阅读(820) 评论(0) 推荐(0)

2014年11月14日

Hbase 笔记(12) 集群管理

摘要： 1、减少节点减少：graceful_stop.sh VA128 系统会把region从对应服务器上移出去，减少扰动。重新启动节点： hbase-daemon.sh start regionserver 2、滚动重启使用 hbase hbck 可以确认集群数据的一致性(meta 表) 3、新增服阅读全文

posted @ 2014-11-14 16:01 lihui1625 阅读(152) 评论(0) 推荐(0)

Hbase 笔记(11) 性能优化

摘要： 1、垃圾回收优化 (1)、HMaster：通常不会产生问题，因为master没有处理任何过重的负载，并且实际的数据服务并不经过它。默认配置： -Dproc_master -XX:OnOutOfMemoryError=kill -9 %p -Xmx4g -XX:+UseConcMarkSweepGC 阅读全文

posted @ 2014-11-14 16:00 lihui1625 阅读(199) 评论(0) 推荐(0)

Hbase 笔记(10) 集群监控

摘要： 1、Context 监控实现： GangliaContext ：推送至Ganglia FileContext：写入文件 TimeStampingFileContext：写入文件，带时间戳 CompositeContext：多个实现 NullContext：不监控 NullContextWi 阅读全文

posted @ 2014-11-14 15:59 lihui1625 阅读(580) 评论(0) 推荐(0)

Hbase 笔记(9) 高级用法

摘要： 1、行健设计 (1)、存储方式：磁盘上一个列族下所有的单元格都存储在一个存储文件(store file)中，不同列族的单元格不会出现在同一个存储文件中。 (2)、NULL 不会存储在HBase表中。 (3)、每个单元格在实际存储时也保存了行健和列键，即单独存储了它在表中所处位置的相关信息。 (4)、阅读全文

posted @ 2014-11-14 15:59 lihui1625 阅读(134) 评论(0) 推荐(0)

HBase 笔记(8) 架构

摘要： 1、入门面向列族：物理上所有列族成员都一起存放在文件系统中，调优和存储都是在列族这个层次上进行，最好所有列族成员都有相同的访问模式。 -ROOT-表：包含.META. 表的区域列表。 .META. 表：包含所有用户空间区域的列表，以区域名为键。区域名：表名+起始行+创建时间+MD5，例子阅读全文

posted @ 2014-11-14 15:58 lihui1625 阅读(118) 评论(0) 推荐(0)

HBase 笔记(8) 架构

摘要： 1、入门面向列族：物理上所有列族成员都一起存放在文件系统中，调优和存储都是在列族这个层次上进行，最好所有列族成员都有相同的访问模式。 -ROOT-表：包含.META. 表的区域列表。 .META. 表：包含所有用户空间区域的列表，以区域名为键。区域名：表名+起始行+创建时间+MD5，例子阅读全文

posted @ 2014-11-14 15:58 lihui1625 阅读(87) 评论(0) 推荐(0)

Hbase 笔记(7) 集成MapReduce

摘要：使用场合： 1、从文件读取数据导入HBase 2、从HBase 读取数据阅读全文

posted @ 2014-11-14 15:58 lihui1625 阅读(109) 评论(0) 推荐(0)

Hbase 笔记(6) HBae Shell、REST、Thrift/Avro

摘要： 1、REST 支持现有的基于Web的体系，能够完美融合反向代理和其他缓存技术，并行运行许多Rest服务可以分摊他们之间的负载。 2、Thrift / Avro 当用户吞吐量角度考虑需要的最佳性能，可以使用严谨的二进制协议。 3、HBase Shell hbase shell 基于JRuby 状态信息阅读全文

posted @ 2014-11-14 11:39 lihui1625 阅读(165) 评论(0) 推荐(0)

Hbase 笔记(5) 客户端API 管理功能

摘要： 1、创建表 hbaseAdmin.createTable(htableDescriptor); hbaseAdmin.createTable(htableDescriptor, splitKeys); hbaseAdmin.createTable(htableDescriptor, startKey 阅读全文

posted @ 2014-11-14 10:50 lihui1625 阅读(228) 评论(0) 推荐(0)

Hbase 笔记(4) 客户端API高级性能

摘要： 1、比较运算符 CompareFilter.CompareOp.LESS CompareFilter.CompareOp.LESS_OR_EQUAL CompareFilter.CompareOp.EQUAL CompareFilter.CompareOp.NOT_EQUAL CompareFilt 阅读全文

posted @ 2014-11-14 10:49 lihui1625 阅读(237) 评论(0) 推荐(0)

2014年11月13日

Hbase 笔记(3) 客户端API基础

摘要： 1、概述 (1)、HBase 所有修改数据的操作保证行级别的原子性。 (2)、用户应该尽量使用批处理(batch)更新，减少单独操作同一行数据的次数。 (3)、创建表有代价，所以只创建一个HTable，一般在应用程序开始时创建 (4)、使用HTablePool，复用多个实例，例子 2、PUT操作 ( 阅读全文

posted @ 2014-11-13 14:54 lihui1625 阅读(206) 评论(0) 推荐(0)

Hbase 笔记(2) 安装

摘要： 1、硬件条件 (1)、CPU： Master Host 双四核，2.0GHz-2.5GHz Slave Host 双四核，2.0GHz-2.5GHz (2)、内存 (Heap)： NameNode 8GB SecondaryNameNode 8GB DataNode 1GB HMaster 4GB 阅读全文

posted @ 2014-11-13 14:24 lihui1625 阅读(119) 评论(0) 推荐(0)

2014年11月12日

HBase 笔记(1) 简介

摘要： 1、列式存储数据库不同于传统关系数据库的行式存储。其优势为： (1)、对于特定查询，不是所有值都是必需的，可减少IO。 (2)、列的数据类型相似，有利于压缩，返回结果时降低带宽消耗。 2、HBase 的Region 和RegionServer 每一个region 只能由一台region serve 阅读全文

posted @ 2014-11-12 17:47 lihui1625 阅读(105) 评论(0) 推荐(0)

Global 和　Local 索引。

摘要： 1、创建表： create table immutable_local (id varchar not null primary key, cf1.a varchar, cf1.b varchar, cf2.c varchar, cf2.d varchar ) immutable_rows=true 阅读全文

posted @ 2014-11-12 08:57 lihui1625 阅读(279) 评论(0) 推荐(0)

2014年11月9日

Phoenix Tips (14) mutable 和 immutable 表区别

摘要：分别创建表： create table my_mutable (id varchar not null primary key, cf1.a varchar , cf1.b varchar, cf2.c varchar, cf2.d varchar) ; create table my_immuta 阅读全文

posted @ 2014-11-09 15:33 lihui1625 阅读(158) 评论(0) 推荐(0)

Phoenix Tips (13) 统计收集

摘要：统计收集有助于提升query性能。命令： UPDATE STATISTICS my_table 等效于 UPDATE STATISTICS my_table ALL 如果只收集index或者column 等效于 UPDATE STATISTICS my_table ALL 如果只收集index或者阅读全文

posted @ 2014-11-09 14:23 lihui1625 阅读(167) 评论(0) 推荐(0)

Phoenix Tips (12) 跟踪 Tracing

摘要：只支持Hadoop2 配置 hadoop-metrics2-phoenix.properties 配置 hadoop-metrics2-hbase.properties 配置 hbase-site.xml <configuration> <property> <name>phoenix.trace. 阅读全文

posted @ 2014-11-09 13:59 lihui1625 阅读(266) 评论(0) 推荐(0)

Phoenix Tips (11) Skip Scan

摘要： The List<List<KeyRange>> for SkipScanFilter for the above query would be [ [ [ a - b ], [ d - e ] ], [ 1, 2 ] ] where [ [ a - b ], [ d - e ] ] is the 阅读全文

posted @ 2014-11-09 13:45 lihui1625 阅读(123) 评论(0) 推荐(0)

Phoenix Tips (10) 分页查询

摘要：组合使用order by, > , LIMIT : 阅读全文

posted @ 2014-11-09 13:37 lihui1625 阅读(106) 评论(0) 推荐(0)

Phoenix Tips (9) Array 类型

摘要： creating a table: CREATE TABLE regions ( region_name VARCHAR PRIMARY KEY, zips VARCHAR ARRAY[10], CONSTRAINT pk PRIMARY KEY (region_name)); Insert sel 阅读全文

posted @ 2014-11-09 13:32 lihui1625 阅读(131) 评论(0) 推荐(0)

公告