manzi

导航

2019年5月13日 #

Hadoop相关知识整理系列之一:HBase基本架构及原理

摘要: Hbase全称为Hadoop Database,即Hbase是Hadoop的数据库,是一个分布式的存储系统。Hbase利用Hadoop的HDFS作为其文件存储系统,利用Hadoop的MapReduce来处理Hbase中的海量数据。利用zookeeper作为其协调工具。 本篇文章将重点介绍Hbase三 阅读全文

posted @ 2019-05-13 21:21 manzi 阅读(470) 评论(0) 推荐(0) 编辑

hive知识点总结

摘要: 1 hive表关联查询,如何解决数据倾斜的问题?倾斜原因:map输出数据按key Hash的分配到reduce中,由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些S 阅读全文

posted @ 2019-05-13 13:06 manzi 阅读(335) 评论(0) 推荐(0) 编辑