基于hive2的数仓版本选择

1. hive & hadoop

目前hive2版本stable版本为2.3.8，查看源码pom.xml引用的hadoop版本为：2.7.2

https://github.com/apache/hive/blob/rel/release-2.3.8/pom.xml

  查看hive官网对于hadoop兼容性描述，hive2和hadoop 2.x.y兼容

  查看hadoop官网，当前2.x.y版本为2.10.1

 2. hbase & hadoop

  查看hbase官网兼容性

  查看hbase 2.3.4源码pom.xml中引用的Hadoop版本为2.10.0和3.1.2

 

3. hive & spark

  hive官网查询到的和spark兼容性

 4. hbase & JDK

 5. hive & ranger

  查看ranger 1.2.0源码pom.xml

6. 最终搭配(后续出部署测试结果)

软件	版本	链接
Hadoop	2.10.1	https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
Hive	2.3.8	https://archive.apache.org/dist/hive/hive-2.3.8/apache-hive-2.3.8-bin.tar.gz
Hbase	2.3.4	https://archive.apache.org/dist/hbase/2.3.4/hbase-2.3.4-bin.tar.gz
Spark	2.0.0	https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz
Zookeeper	3.4.6	https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
JDK	8.221	jdk-8u221-linux-x64.tar.gz