随笔分类 -  Hive

TEZ搭建
摘要：Hive集成Tez Tez介绍：https://www.infoq.cn/article/apache-tez-saha-murthy MR在hive2中已经被弃用了，推荐使用Tez或Spark作为执行引擎 1、编译 下载Tez源码并根据Hadoop版本进行 由于Tez官方所提供的安装包对某些Had 阅读全文
posted @ 2024-11-27 09:10 bjynjj 阅读(279) 评论(0) 推荐(0)
Hive函数学习
摘要：Hive函数学习 SQL练习 1、count(*)、count(1) 、count('字段名') 区别 从执行结果来看 count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL 最慢的 count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NU 阅读全文
posted @ 2024-11-27 09:03 bjynjj 阅读(50) 评论(0) 推荐(0)
Hive优化（面试宝典）
摘要：Hive优化 1.1 hive的随机抓取策略 理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们 省略掉了这个过程，把切片split的过程提前帮我们做了。 set hive.fetch.task.conversion=none; (一旦进行这么设置，sele 阅读全文
posted @ 2024-11-14 20:06 bjynjj 阅读(73) 评论(0) 推荐(0)
Hive的基本操作（附详细步骤和相关操作截图）
摘要：Hive3.1.2概述与基本操作 1、Hive基本概念 1.1 Hive简介 Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 阅读全文
posted @ 2024-11-11 14:53 bjynjj 阅读(1425) 评论(0) 推荐(0)
Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决
摘要：hive-3.1.2分布式搭建文档 1、下载，上传，解压，配置环境变量 # 1、解压（解压到上级目录） tar -zxvf apache-hive-3.1.2-bin.tar.gz -C.. # 2、重名名 mv apache-hive-3.1.2-bin hive-3.1.2 # 3、配置环境变量 阅读全文
posted @ 2024-11-08 19:49 bjynjj 阅读(457) 评论(0) 推荐(0)