2017 年 5月 20 日随笔档案 - 呢喃的歌声

hive-hbase性能问题

摘要：华为负责人本来想用这种表来做大数据开发，先前就听前辈讲过性能存在问题。实际开发过程确实存在不少问题。然后放弃换方案去做了。 1.底层meta映射字段问题。默认4000，如果再做修改会涉及到挺多源码。 2.性能问题join大表之间过慢问题。（本质应该是因为hbase查询时候不走rowkey过慢，之前听阅读全文

posted @ 2017-05-20 19:51 呢喃的歌声阅读(374) 评论(0) 推荐(0)

用sqoop抽取oracle 表到hbase的例子

摘要： sqoop import \-Doraoop.disabled=true \--connect jdbc:oracle:thin:@"(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=XX.XX.XX.XX)(PORT=1521))(CONNECT_DATA=(SE 阅读全文

posted @ 2017-05-20 19:47 呢喃的歌声阅读(297) 评论(0) 推荐(0)

华为二级索引解决方案

摘要： Hbase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能阅读全文

posted @ 2017-05-20 15:19 呢喃的歌声阅读(1456) 评论(0) 推荐(0)

2017年5月20日

公告