11 2014 档案
摘要：http://www.importnew.com/3020.html http://www.linuxidc.com/Linux/2014-01/95794.htm 1、概述 至于HMaster，HBase自身是不存在单点故障的。HBase使用ZooKeerper作为中央控制服务。ZooKeeper
阅读全文
摘要：1. Hadoop 下载hadoop-0.23.9-src.tar.gz， 解压， 在Linux 下编译， 其中会遇到各种错误，主要是linux 软件包安装问题 修改core-site.xml ： 修改hdfs-site.xml： 修改master，设置SecondaryNameNode： 修改sl
阅读全文
摘要：Hadoop 19 November, 2014: 2.5.2 12 September, 2014: 2.5.1 11 August, 2014: 2.5.0 30 June, 2014: 2.4.1 27 June, 2014: 0.23.11 07 April, 2014: 2.4.0 20
阅读全文
摘要：1、减少节点 减少：graceful_stop.sh VA128 系统会把region从对应服务器上移出去，减少扰动。 重新启动节点： hbase-daemon.sh start regionserver 2、滚动重启 使用 hbase hbck 可以确认集群数据的一致性(meta 表) 3、新增服
阅读全文
摘要：1、垃圾回收优化 (1)、HMaster：通常不会产生问题，因为master没有处理任何过重的负载，并且实际的数据服务并不经过它。默认配置： -Dproc_master -XX:OnOutOfMemoryError=kill -9 %p -Xmx4g -XX:+UseConcMarkSweepGC
阅读全文
摘要：1、Context 监控实现： GangliaContext ： 推送至Ganglia FileContext： 写入文件 TimeStampingFileContext： 写入文件，带时间戳 CompositeContext： 多个实现 NullContext： 不监控 NullContextWi
阅读全文
摘要：1、行健设计 (1)、存储方式：磁盘上一个列族下所有的单元格都存储在一个存储文件(store file)中，不同列族的单元格不会出现在同一个存储文件中。 (2)、NULL 不会存储在HBase表中。 (3)、每个单元格在实际存储时也保存了行健和列键，即单独存储了它在表中所处位置的相关信息。 (4)、
阅读全文
摘要：1、入门 面向列族： 物理上所有列族成员都一起存放在文件系统中，调优和存储都是在列族这个层次上进行，最好所有列族成员都有相同的访问模式。 -ROOT-表： 包含.META. 表的区域列表。 .META. 表： 包含所有用户空间区域的列表，以区域名为键。 区域名： 表名+起始行+创建时间+MD5，例子
阅读全文
摘要：1、入门 面向列族： 物理上所有列族成员都一起存放在文件系统中，调优和存储都是在列族这个层次上进行，最好所有列族成员都有相同的访问模式。 -ROOT-表： 包含.META. 表的区域列表。 .META. 表： 包含所有用户空间区域的列表，以区域名为键。 区域名： 表名+起始行+创建时间+MD5，例子
阅读全文
摘要：使用场合： 1、从文件读取数据导入HBase 2、从HBase 读取数据
阅读全文
摘要：1、REST 支持现有的基于Web的体系，能够完美融合反向代理和其他缓存技术，并行运行许多Rest服务可以分摊他们之间的负载。 2、Thrift / Avro 当用户吞吐量角度考虑需要的最佳性能，可以使用严谨的二进制协议。 3、HBase Shell hbase shell 基于JRuby 状态信息
阅读全文
摘要：1、创建表 hbaseAdmin.createTable(htableDescriptor); hbaseAdmin.createTable(htableDescriptor, splitKeys); hbaseAdmin.createTable(htableDescriptor, startKey
阅读全文
摘要：1、比较运算符 CompareFilter.CompareOp.LESS CompareFilter.CompareOp.LESS_OR_EQUAL CompareFilter.CompareOp.EQUAL CompareFilter.CompareOp.NOT_EQUAL CompareFilt
阅读全文
摘要：1、概述 (1)、HBase 所有修改数据的操作保证行级别的原子性。 (2)、用户应该尽量使用批处理(batch)更新，减少单独操作同一行数据的次数。 (3)、创建表有代价，所以只创建一个HTable，一般在应用程序开始时创建 (4)、使用HTablePool，复用多个实例，例子 2、PUT操作 (
阅读全文
摘要：1、硬件条件 (1)、CPU： Master Host 双四核，2.0GHz-2.5GHz Slave Host 双四核，2.0GHz-2.5GHz (2)、内存 (Heap)： NameNode 8GB SecondaryNameNode 8GB DataNode 1GB HMaster 4GB
阅读全文
摘要：1、列式存储数据库 不同于传统关系数据库的行式存储。其优势为： (1)、对于特定查询，不是所有值都是必需的，可减少IO。 (2)、列的数据类型相似，有利于压缩，返回结果时降低带宽消耗。 2、HBase 的Region 和RegionServer 每一个region 只能由一台region serve
阅读全文
摘要：1、创建表： create table immutable_local (id varchar not null primary key, cf1.a varchar, cf1.b varchar, cf2.c varchar, cf2.d varchar ) immutable_rows=true
阅读全文
摘要：分别创建表： create table my_mutable (id varchar not null primary key, cf1.a varchar , cf1.b varchar, cf2.c varchar, cf2.d varchar) ; create table my_immuta
阅读全文
摘要：统计收集有助于提升query性能。 命令： UPDATE STATISTICS my_table 等效于 UPDATE STATISTICS my_table ALL 如果只收集index或者column 等效于 UPDATE STATISTICS my_table ALL 如果只收集index或者
阅读全文
摘要：只支持Hadoop2 配置 hadoop-metrics2-phoenix.properties 配置 hadoop-metrics2-hbase.properties 配置 hbase-site.xml <configuration> <property> <name>phoenix.trace.
阅读全文
摘要：The List<List<KeyRange>> for SkipScanFilter for the above query would be [ [ [ a - b ], [ d - e ] ], [ 1, 2 ] ] where [ [ a - b ], [ d - e ] ] is the
阅读全文
摘要：组合使用order by, > , LIMIT :
阅读全文
摘要：creating a table: CREATE TABLE regions ( region_name VARCHAR PRIMARY KEY, zips VARCHAR ARRAY[10], CONSTRAINT pk PRIMARY KEY (region_name)); Insert sel
阅读全文
摘要：创建多租户表： 连接到某租户的数据库表： Properties props = new Properties(); props.setProperty("TenantId", "Acme"); Connection conn = DriverManager.getConnection("localh
阅读全文
摘要：1、IN 和 Not In 的子查询 SELECT ItemName FROM Items WHERE ItemID IN (SELECT ItemID FROM Orders WHERE Date >= to_date('2013/09/02')); 2、Exists 和Not Exists的子查
阅读全文
摘要：1、immutable Index 原文：Immutable indexing targets use cases that are write once, append only; this is common in time-series data, where you log once, bu
阅读全文
摘要：在Property里面设置属性 "CurrentSCN"。 ts是一个long。 Properties props = new Properties(); props.setProperty(PhoenixRuntime.CURRENT_SCN_ATTRIB, Long.toString(ts));
阅读全文
摘要：1、加盐： 加盐可以将数据存入多个region里，从而提升读写性能。 CREATE TABLE TEST (HOST VARCHAR NOT NULL PRIMARY KEY, DESCRIPTION VARCHAR) SALT_BUCKETS=42 如果有16台region server，每台se
阅读全文
摘要：因为HBase 数据储存按照 row key 排序，如果HBase表的 row key 是单调递增的，则HBase 容易有RegionServer 的局部热点问题。加盐可以缓解这个问题。 create table H3 (id varchar not null primary key, cf1.a
阅读全文
摘要：1、Phoenix 主要技术点 a、将SQL转化为HBase Scan，将结果封装为JDBC Result Set。 b、表的元数据保存在HBase表(系统表)中。 c、使用了coprocessor 和 custom filter 保证高效，使得小规模查询的延时在毫秒级，百万行的查询延时在秒级。 c
阅读全文
摘要：pheonix_jdbc.properties 文件 PhoenixQueryUtils： 用例： 输出：
阅读全文
摘要：pheonix_jdbc.properties 文件driverClassName=org.apache.phoenix.jdbc.PhoenixDriverurl=jdbc:phoenix:10.1.20.129,10.1.20.128,10.1.20.44:2181username=userp...
阅读全文
摘要：pheonix_jdbc.properties 文件 driverClassName=org.apache.phoenix.jdbc.PhoenixDriverurl=jdbc:phoenix:10.1.20.129,10.1.20.128,10.1.20.44:2181username=user...
阅读全文
摘要：pheonix_jdbc.properties 文件 Java 代码
阅读全文
摘要：inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish ）。 DbUtils是一个小型的类库，这里通过具体实例来说明如何使用DbUtils。示例分为3个类：DbUtilsExample演示了如何使用DbUtils 类；QueryRunnerEx
阅读全文
摘要：inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish ）。 DbUtils是一个小型的类库，这里通过具体实例来说明如何使用DbUtils。示例分为3个类：DbUtilsExample演示了如何使用DbUtils 类；QueryRunnerE...
阅读全文
摘要：syslog架构Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议，分为客户端和服务器端，客户端是产生日志消息的一方，而服务器端负责接收客户端发送来的日志消息，并做出保存到特定的日志文件中或者其他方式的处理。在Linux中，常见的sys...
阅读全文
摘要：1. 没有插入值的字段(即为Null的字段)，在HBase中不会存储实际数据。 创建表： create table t1 (id varchar not null primary key, cf1.a varchar, cf1.b varchar, cf2.c varchar,cf2.d varch
阅读全文
摘要：AVG ( numericTerm ) COUNT (Term) COUNT (DISTINCT Term) MAX ( term ) MIN ( term ) SUM ( numericTerm ) PERCENTILE_CONT( 0.9 ) WITHIN GROUP (ORDER BY X A
阅读全文
摘要：与一般数据库一样。 INTEGER java.lang.Integer -2147483648 to 2147483647 (4 byte ) UNSIGNED_INT java.lang.Integer 0 to 2147483647 (4 byte ) BIGINT java.lang.Long
阅读全文
摘要：String username = ""; String password = ""; String url = "jdbc:phoenix:10.1.20.129, 10.1.20.124, 10.1.20.44"; Connection connection = null; Statement
阅读全文
摘要：SVNKit (JavaSVN) 是一个纯 Java 的 SVN 客户端库,使用 SVNKit 无需安装任何 SVN 的客户端,支持各种操作系统。 这不是一个开源的类库,但你可以免费使用.SVNLogClient的方法doLog() 'svn log' doList(...
阅读全文
摘要：http://blog.csdn.net/shaobingj126/article/details/7260907Network Time Protocol(NTP，网络时间协议)用于同步它所有客户端时钟的服务。NTP服务器将本地系统的时钟与一个公共的NTP服务器同步然后作为时间主机提供服务，使本地...
阅读全文
摘要：http://blog.csdn.net/shaobingj126/article/details/7260907 Network Time Protocol(NTP，网络时间协议)用于同步它所有客户端时钟的服务。NTP服务器将本地系统的时钟与一个公共的NTP服务器同步然后作为时间主机提供服务，使本
阅读全文
摘要：http://blog.csdn.net/hursing/article/details/17553571使用 crontab sudo crontab -e打开后加入这行[plain] view plaincopy0 * * * * my_user_name my_script_path ...
阅读全文
摘要：Phoenix中 创建一个表： 0: jdbc:phoenix:localhost> create table test ( id varchar not null primary key, cf1.a varchar, cf1.b varchar, cf2.c varchar , cf2.d va
阅读全文
浙公网安备 33010602011771号