随笔分类 -  BIGDATA

摘要:hive 元数据的数据模型 hive元数据的数据模型.png hive元数据的查用查询语句 通过中文字段找表 select d.NAME,a.TBL_NAME,e.PARAM_VALUE,c.COLUMN_NAME,c.TYPE_NAME,c.COMMENT,c.INTEGER_IDX from T 阅读全文
posted @ 2022-11-29 14:17 葫芦杯 阅读(403) 评论(0) 推荐(0)
摘要:一、Hive下查看数据表信息的方法方法1:查看表的字段信息desc table_name; 方法2:查看表的字段信息及元数据存储路径desc extended table_name;方法3:查看表的字段信息及元数据存储路径desc formatted table_name;备注:查看表元数据存储路径 阅读全文
posted @ 2022-11-29 14:10 葫芦杯 阅读(2748) 评论(0) 推荐(0)
摘要:使用java连接ranger+ldap认证的hive,通过jdbc加上用户名密码即可,代码示例如下: import java.sql.*; public class JdbcHiveLdap { private static String driverName = "org.apache.hive. 阅读全文
posted @ 2022-10-20 09:49 葫芦杯 阅读(317) 评论(0) 推荐(0)
摘要:1.pop.xml配置 hive与hadoop的配置版本要匹配,一般hive 2.X版本要选择hadoop2.x版本,否则会不兼容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifac 阅读全文
posted @ 2022-10-09 16:33 葫芦杯 阅读(2389) 评论(0) 推荐(0)
摘要:1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文
posted @ 2022-10-09 16:06 葫芦杯 阅读(565) 评论(0) 推荐(0)
摘要:原始代码为: org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误: Can't get Kerberos realm 原因: 程序读取不到krb5.conf 解决办法: 在JVM启动参数中添加了参数 阅读全文
posted @ 2022-10-09 15:45 葫芦杯 阅读(5805) 评论(0) 推荐(0)
摘要:hive与hadoop的兼容性问题 1. 问题出现 工作需要,在本地安装hive进行相关测试工作,版本选的是hadoop-3.0.0,hive-2.1.1。这个版本是按照CDH集群版本配的,本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文
posted @ 2022-10-08 13:47 葫芦杯 阅读(1402) 评论(0) 推荐(0)
摘要:列出文件目录 hdfs dfs -ls /user/hive/warehouse 列出全部目录与文件 hdfs dfs -ls -R /user/hive/warehouse 查看目录文件大小 hdfs dfs -du -s -h /user/hive/warehouse 查看目录概况 hdfs d 阅读全文
posted @ 2022-09-20 14:50 葫芦杯 阅读(219) 评论(0) 推荐(0)
摘要:1.下载并安装JDK 2.下载并安装python 3.下载hadoop 4.下载winutils.exe并放在hadoop\bin目录下 5.pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark安装pyspark和py4 阅读全文
posted @ 2021-03-31 17:43 葫芦杯 阅读(21) 评论(0) 推荐(0)
摘要:问题如下: Error:Could not open client transport with JDBC Uri: jdbc:hive2://node01:10000/default:java.net.ConnectException refused 先输入下面命令,确定metostore能不能启 阅读全文
posted @ 2021-03-23 09:29 葫芦杯 阅读(48) 评论(0) 推荐(0)
摘要:hive 与 ranger 开启权限验证后:使用自定义参数 set xxx 时会报错, org.apache.hive.service.cli.HiveSQLException: Error while processing statement: Cannot modify ..** at runt 阅读全文
posted @ 2021-01-26 14:22 葫芦杯 阅读(5144) 评论(0) 推荐(0)
摘要:现象描述: select a.apply_no, (case when coalesce(a.final_repay_date, '2999-12-31') > '2020-05-01' then a.uid when coalesce(a.user_final_repay_date, '2999- 阅读全文
posted @ 2020-05-27 10:50 葫芦杯 阅读(639) 评论(0) 推荐(0)
摘要:重建mysql的hive元数据库: drop database hive; create database hive; alter database hive character set latin1; 重启hive 阅读全文
posted @ 2020-02-14 22:44 葫芦杯 阅读(1116) 评论(0) 推荐(0)
摘要:查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储在 HDFS 中的。而数据库 阅读全文
posted @ 2020-02-13 21:58 葫芦杯 阅读(378) 评论(0) 推荐(0)
摘要:一.问题背景 采用OGG进行数据实时同步时,发现同步的文件通过外部表不可读,cat一下某天的HDFS文件内容的时候报Cannot obtain block length for LocatedBlock异常 二.解决过程 1.既然是hdfs文件出问题,用fsck检查一下吧 hdfs fsck / 当 阅读全文
posted @ 2020-02-06 16:46 葫芦杯 阅读(792) 评论(0) 推荐(0)