lenmom

博客园 首页 新随笔 联系 订阅 管理

2019年2月6日 #

摘要: Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很 阅读全文
posted @ 2019-02-06 23:35 老董 阅读(1460) 评论(0) 推荐(0)

摘要: 查看hive source下面的pom.xml,可以找到官方默认发布的hive版本对应的spark版本,在实际部署的时候,最好按照这个版本关系来,这样出现兼容问题的概率相对较小。 下面面列出一部分对应关系,在实际部署中可以到github上去查询具体的版本对应关系,地址为https://github. 阅读全文
posted @ 2019-02-06 21:14 老董 阅读(8622) 评论(0) 推荐(1)