随笔分类 -  BIGDATA / HIVE

摘要:hive 元数据的数据模型 hive元数据的数据模型.png hive元数据的查用查询语句 通过中文字段找表 select d.NAME,a.TBL_NAME,e.PARAM_VALUE,c.COLUMN_NAME,c.TYPE_NAME,c.COMMENT,c.INTEGER_IDX from T 阅读全文
posted @ 2022-11-29 14:17 葫芦杯 阅读(403) 评论(0) 推荐(0)
摘要:一、Hive下查看数据表信息的方法方法1:查看表的字段信息desc table_name; 方法2:查看表的字段信息及元数据存储路径desc extended table_name;方法3:查看表的字段信息及元数据存储路径desc formatted table_name;备注:查看表元数据存储路径 阅读全文
posted @ 2022-11-29 14:10 葫芦杯 阅读(2748) 评论(0) 推荐(0)
摘要:使用java连接ranger+ldap认证的hive,通过jdbc加上用户名密码即可,代码示例如下: import java.sql.*; public class JdbcHiveLdap { private static String driverName = "org.apache.hive. 阅读全文
posted @ 2022-10-20 09:49 葫芦杯 阅读(317) 评论(0) 推荐(0)
摘要:1.pop.xml配置 hive与hadoop的配置版本要匹配,一般hive 2.X版本要选择hadoop2.x版本,否则会不兼容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifac 阅读全文
posted @ 2022-10-09 16:33 葫芦杯 阅读(2389) 评论(0) 推荐(0)
摘要:hive与hadoop的兼容性问题 1. 问题出现 工作需要,在本地安装hive进行相关测试工作,版本选的是hadoop-3.0.0,hive-2.1.1。这个版本是按照CDH集群版本配的,本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文
posted @ 2022-10-08 13:47 葫芦杯 阅读(1402) 评论(0) 推荐(0)
摘要:问题如下: Error:Could not open client transport with JDBC Uri: jdbc:hive2://node01:10000/default:java.net.ConnectException refused 先输入下面命令,确定metostore能不能启 阅读全文
posted @ 2021-03-23 09:29 葫芦杯 阅读(48) 评论(0) 推荐(0)
摘要:hive 与 ranger 开启权限验证后:使用自定义参数 set xxx 时会报错, org.apache.hive.service.cli.HiveSQLException: Error while processing statement: Cannot modify ..** at runt 阅读全文
posted @ 2021-01-26 14:22 葫芦杯 阅读(5143) 评论(0) 推荐(0)
摘要:现象描述: select a.apply_no, (case when coalesce(a.final_repay_date, '2999-12-31') > '2020-05-01' then a.uid when coalesce(a.user_final_repay_date, '2999- 阅读全文
posted @ 2020-05-27 10:50 葫芦杯 阅读(639) 评论(0) 推荐(0)
摘要:重建mysql的hive元数据库: drop database hive; create database hive; alter database hive character set latin1; 重启hive 阅读全文
posted @ 2020-02-14 22:44 葫芦杯 阅读(1116) 评论(0) 推荐(0)
摘要:查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储在 HDFS 中的。而数据库 阅读全文
posted @ 2020-02-13 21:58 葫芦杯 阅读(378) 评论(0) 推荐(0)