组件版本

大数据组件	版本	备注
Hadoop/Yarn	2.7.7
Hive	1.2.1
Spark	2.2.1
Clickhouse	20.11.3.3
Zeppelin	0.8.1
scala	2.11.12
hadoop-mysql	5.7.25	mysql-5.7.25-linux-glibc2.12-x86_64
jdk	1.8.0_131
zookeeper	3.6.2
knox	1.6.1	安全

Atlas

作用： 记录并展示Hive表字段含义，以及表和字段之间的数据血缘关系。
局限： 依赖HBase和solr。

Azkaban

作用： 实现任务流执行，满足任务间依赖关系。
局限： 任务能添加依赖的任务，但是不能传参数，任务流中任意一条路线断了，不能这条路线重启执行。

其他组件	版本	备注
Clickhouse	20.11.3.3
PostgreSQL	11.9
Zeppelin	0.8.1
kafka	2.5.0
flink	1.12.1	flink-1.12.0-bin-scala_2.11
scala	2.11.12
jdk	1.8.0_131
mongodb	4.4.4
mysql	5.7.18
milvus	0.10.5
datax		ETL工具 python2.7
docker	19.03.0