随笔分类 -  Hive

摘要：Hive中的sql语句是如何转化成MR任务的（面试） 元数据存储在数据库中，默认存在自己自带的derby数据库中（derby在Hive启用的时候会占用元数据库，且数据不会共享给客户端，所以1一次只能有一个客户端使用，开了另一个客户端就会连接不上） 1)、解析器（SQL Parser）：将SQL字符串 阅读全文

摘要：Hive自定义函数（UDF，UDTF，UDAF） 一UDF：一进一出 1、先创建maven项目并下载依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1 阅读全文

摘要：hive优化 1、hive的随机抓取策略 hive中的sql都应该经过解析器，编译器，优化器和执行器产生mapreduce作业进行处理，但是在我们使用过程中，对于一些进行查询之类的任务的时候并没有产生mapreduce任务进行处理，这是因为hive的抓取策略帮我们省略了这个步骤，将split切片的过 阅读全文

摘要：Hive安装搭建 1、上传解压配置环境变量 # 1、解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/soft/ # 2、重名名 mv apache-hive-3.1.2-bin hive-3.1.2 # 3、配置环境变量 vim /etc/prof 阅读全文