摘要:
hive底层使用的是MapReduce,我们都知道,相比于mapreduce,spark要快的多,spark sql 可以对接hive,读取hive中的数据,并且利用spark 计算引擎完成计算。 要实现spark sql 处理hive中的数据,最关键的就是要spark获取hive表的元数据信息。 阅读全文
posted @ 2020-07-26 22:50
鼬手牵佐手
阅读(791)
评论(0)
推荐(0)
摘要:
在hive中,窗口函数(又叫开窗函数)具有强大的功能,掌握好窗口函数,能够帮助我们非常方便的解决很多问题。首先我们要了解什么是窗口函数,简单的说窗口函数是hive中一种可以按指定窗口大小计算的函数,例如,sum(),avg(),min(),max()等聚合函数,还有rank(),row_number 阅读全文
posted @ 2020-07-26 22:19
鼬手牵佐手
阅读(1242)
评论(0)
推荐(0)

浙公网安备 33010602011771号