2019年1月21日
大叔经验分享（26）hive通过外部表读写elasticsearch数据
摘要： hive通过外部表读写elasticsearch数据，和读写hbase数据差不多，差别是需要下载elasticsearch-hadoop-hive-6.6.2.jar，然后使用其中的EsStorageHandler； Connect the massive data storage and deep 阅读全文
posted @ 2019-01-21 20:54 匠人先生 阅读(3701) 评论(0) 推荐(1)
大叔经验分享（25）hive通过外部表读写hbase数据
摘要： 在hive中创建外部表： CREATE EXTERNAL TABLE hive_hbase_table(key string, name string,desc string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 阅读全文
posted @ 2019-01-21 20:38 匠人先生 阅读(2394) 评论(0) 推荐(1)
大叔经验分享（24）hive metastore的几种部署方式
摘要： hive及其他组件（比如spark、impala等）都会依赖hive metastore，依赖的配置文件位于hive-site.xml hive metastore重要配置 hive.metastore.warehouse.dirhive2及之前版本默认为/user/hive/warehouse/， 阅读全文
posted @ 2019-01-21 18:07 匠人先生 阅读(1254) 评论(0) 推荐(1)
大数据基础之ElasticSearch（1）简介、安装、使用
摘要： ElasticSearch 6.6.0 官方：https://www.elastic.co/ 一 简介 ElasticSearch简单来说是对lucene的分布式封装，增加了shard（每个shard是一个子索引，也是一个lucene的index）和replica的概念；所以在ElasticSear 阅读全文
posted @ 2019-01-21 15:44 匠人先生 阅读(623) 评论(0) 推荐(1)
大数据基础之Impala（1）简介、安装、使用
摘要： impala2.12 官方：http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic database for Apache Hadoop. Impala is shipped by Cloude 阅读全文
posted @ 2019-01-21 13:38 匠人先生 阅读(3271) 评论(0) 推荐(1)
大数据基础之Kudu（1）简介、安装、使用
摘要： kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有 阅读全文
posted @ 2019-01-21 12:45 匠人先生 阅读(3486) 评论(1) 推荐(2)