文章分类 -  大数据处理与分析

基于Solr的HBase多条件查询测试
摘要：背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。原理：基于Solr的HBase多条件查询原理很简单，将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。测试环境：solr 4. 阅读全文
posted @ 2013-08-01 14:44 Mr.chenz 阅读(26671) 评论(9) 推荐(2)
eclipse开发mapreduce程序遇到的环境问题
摘要：公司是在windows servers 2008上用eclipse进行开发，hadoop集群也是由多台linux服务器组成的真实集群。由于我要开发的程序涉及到hadoop、hbase、solr，理所当然的引入了相关的核心jar包到工程里面，代码也没显示任何异常。但是在运行代码的时候却报了各种错误，之前在自己电脑虚拟机上开发mapreduce程序是没有问题的，现将解决方法记录一下。异常1：Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your co 阅读全文
posted @ 2013-07-19 10:56 Mr.chenz 阅读(4255) 评论(0) 推荐(1)