摘要： 最近公司在使用apache kylin做实时开发访问，但是自己集群是linux32 只能安装JDK32位的受限只能3G多内存，而apachekylin 默认是4G内存，需要JDK64位支持。 解决办法是到apache kylin的/home/hadoop/bigdata/softs/apache-k 阅读全文

摘要： hbase 访问表过程。Client（客户端） 》访问ZK（拿到meta表的region位置） 》访问meta 表的region 》拿到user表的region 》对表进行操作 阅读全文

摘要： http://www.cnblogs.com/MOBIN/p/5559575.html 摘要 加载数据到HBase的方式有多种，通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入（耗费磁盘I/O，容易在导入的过程使用节点宕机），但是这些方式不是慢就是在导入的 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： 最近项目组分配到研究storm-jdbc用法 发现网上关于insert和query方法挺多的，但是自定义方法很少。而且用法上也挺多缺陷。在此自己总结记录一下 JdbcInsertBolt 的核心代码 /* * * JdbcInsertBolt org.apache.storm 默认包下 此类不会进行 阅读全文

摘要： 列可以分开存储，对于重复性高的数据压缩比会高，但是在元组（行shi）恢复会比较消耗性能 于传统列存储不同 是行组会存储于同一节点中，列扫描会比较快（因为只需扫描一个行组） 阅读全文

摘要： 1.采用先shift=31-Integer.numberOfLeadingZeros(scale);取int前面的补零个数31再减去拿到占得内存位长度 2.i偏移shift（其实等于I*位数） 加上base位数。等于用户取的位数 因为之前总是看了有点误解今天下午又看到再次记录下以备后面复习 阅读全文

摘要： rowkey rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道，rowkey是以字典顺序排序的。而存储的字节码，字典排序，我们知道，如果是字 母，那就是字母的顺序，比如， 阅读全文

摘要： 好的方案应该挺多的，比如:可以将【日、周、月】以3,2,1来表示(拼接到ROW_KEY中){离线跑job时候，可以分为月job(每月末run一下,周job(每周末run一下),日job(每天run一下)};然后在服务端对请求过来的日期时间段，做下计算：根据两个日期，计算出START_ROW_KEY以 阅读全文