随笔分类 -  Hbase

Pyspark的HBaseConverters详解
摘要：作者：Syn良子 出处： "http://www.cnblogs.com/cssdongl/p/7449682.html" 转载请注明出处 最近在折腾pyspark的HbaseConverters，由于资料太少折腾了好一会儿才明白，特此分享给大家. 问题背景 最近在使用pyspark写hbase的过 阅读全文
posted @ 2017-08-29 19:07 Syn良子 阅读(3332) 评论(4) 推荐(0)
Pyspark访问Hbase
摘要：作者：Syn良子 出处： "http://www.cnblogs.com/cssdongl/p/7347167.html" 转载请注明出处 记录自己最近抽空折腾虚拟机环境时用spark2.0的pyspark访问Hbase1.2时遇到的问题及解决过程. 连接准备 快速用pyspark访问Hbase中的 阅读全文
posted @ 2017-08-11 17:49 Syn良子 阅读(3824) 评论(0) 推荐(0)
Hbase1.0伪分布式集群启动失败问题
摘要：作者：Syn良子 出处： "http://www.cnblogs.com/cssdongl/p/7340681.html" 转载请注明出处 最近抽空折腾自己的虚拟机环境时启动伪分布式Hbase集群一直失败，使用的Hbase版本为Apache Hbase1.0,解决过程如下 发现问题 经过仔细观察日志 阅读全文
posted @ 2017-08-10 18:14 Syn良子 阅读(599) 评论(0) 推荐(0)
Hbase FilterList使用总结
摘要：作者：Syn良子 出处： "http://www.cnblogs.com/cssdongl/p/7098138.html" 转载请注明出处 我们知道Hbase的Scan经常需要用到filter来过滤表中的数据返回给客户端，单个的filter还好说，如果有多个呢，那么就需要使用FilterList,它 阅读全文
posted @ 2017-06-30 12:01 Syn良子 阅读(7194) 评论(0) 推荐(1)
Phoenix编译支持CDH
摘要：作者：Syn良子 出处： "http://www.cnblogs.com/cssdongl/p/6898227.html" 转载请注明出处 最近由于想调研下低延迟的数据查询框架，那么基于SQL on Hbase的Phoenix是必不可少的，先熟悉下它的编译和部署并记录下过程 Phoenix编译 由于 阅读全文
posted @ 2017-05-24 15:56 Syn良子 阅读(1755) 评论(1) 推荐(0)
HiveHbase集成实践
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/6857891.html 转载请注明出处 简单的说就是可以通过Hive SQL直接对hbase的表进行读写操作，对了，这里可能有人会问，为啥要这么集成呢，有什么场景呢。那我举个场景栗子,比如我们可能会用Hba 阅读全文
posted @ 2017-05-15 19:22 Syn良子 阅读(3692) 评论(0) 推荐(0)
Hbase 布隆过滤器BloomFilter介绍
摘要：在scan初始化时（get会包装为scan）对于每个storefile会做shouldSeek的检查，如果返回false，则表明该storefile里没有要找的内容，直接跳过 shouldSeek方法：如果是scan直接返回true表明不能跳过，然后根据bloomfilter类型检查。 对指明了qu 阅读全文
posted @ 2017-02-14 10:50 Syn良子 阅读(3504) 评论(0) 推荐(0)
HBase在数据统计应用中的使用心得
摘要：转载自:http://www.cnblogs.com/panfeng412/archive/2011/11/19/2254921.html 1. 数据统计的需求 2. HBase的实现思路 3. 问题的解决思路 b) 查询端：在查询端加入PV/UV的缓存，下一次查询请求来的时候，在已缓存PV/UV值 阅读全文
posted @ 2017-01-12 18:43 Syn良子 阅读(4403) 评论(0) 推荐(0)
Spark读写Hbase的二种方式对比
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 一.传统方式 这种方式就是常用的TableInputFormat和TableOutputFormat来读写hbase，如下代码所示 简单解释下，用sc.newAPIHadoopRDD根据conf中 阅读全文
posted @ 2016-12-30 18:57 Syn良子 阅读(46278) 评论(6) 推荐(5)
MapReduce和Spark写入Hbase多表总结
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 大家都知道用mapreduce或者spark写入已知的hbase中的表时，直接在mapreduce或者spark的driver class中声明如下代码 job.getConfiguration( 阅读全文
posted @ 2016-12-27 18:46 Syn良子 阅读(2713) 评论(0) 推荐(0)