随笔分类 -  BIGDATA

hive元数据及相关查询
摘要：hive 元数据的数据模型 hive元数据的数据模型.png hive元数据的查用查询语句 通过中文字段找表 select d.NAME,a.TBL_NAME,e.PARAM_VALUE,c.COLUMN_NAME,c.TYPE_NAME,c.COMMENT,c.INTEGER_IDX from T 阅读全文
posted @ 2022-11-29 14:17 葫芦杯 阅读(403) 评论(0) 推荐(0)
Hive下查看表占用空间大小的方法
摘要：一、Hive下查看数据表信息的方法方法1：查看表的字段信息desc table_name; 方法2：查看表的字段信息及元数据存储路径desc extended table_name;方法3：查看表的字段信息及元数据存储路径desc formatted table_name;备注：查看表元数据存储路径 阅读全文
posted @ 2022-11-29 14:10 葫芦杯 阅读(2748) 评论(0) 推荐(0)
java连接ranger+ldap认证的hive
摘要：使用java连接ranger+ldap认证的hive，通过jdbc加上用户名密码即可，代码示例如下： import java.sql.*; public class JdbcHiveLdap { private static String driverName = "org.apache.hive. 阅读全文
posted @ 2022-10-20 09:49 葫芦杯 阅读(317) 评论(0) 推荐(0)
java连接接kerberos认证下的hive
摘要：1.pop.xml配置 hive与hadoop的配置版本要匹配，一般hive 2.X版本要选择hadoop2.x版本，否则会不兼容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifac 阅读全文
posted @ 2022-10-09 16:33 葫芦杯 阅读(2389) 评论(0) 推荐(0)
java连接simple与kerberos认证hadoop集群
摘要：1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文
posted @ 2022-10-09 16:06 葫芦杯 阅读(565) 评论(0) 推荐(0)
Kerberos 认证错误 ：Can't get Kerberos realm
摘要：原始代码为： org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误： Can't get Kerberos realm 原因： 程序读取不到krb5.conf 解决办法： 在JVM启动参数中添加了参数 阅读全文
posted @ 2022-10-09 15:45 葫芦杯 阅读(5805) 评论(0) 推荐(0)
Unrecognized Hadoop major version number: 3.0.0 版本冲突解决
摘要：hive与hadoop的兼容性问题 1. 问题出现 工作需要，在本地安装hive进行相关测试工作，版本选的是hadoop-3.0.0，hive-2.1.1。这个版本是按照CDH集群版本配的，本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文
posted @ 2022-10-08 13:47 葫芦杯 阅读(1402) 评论(0) 推荐(0)
HDFS基础命令
摘要：列出文件目录 hdfs dfs -ls /user/hive/warehouse 列出全部目录与文件 hdfs dfs -ls -R /user/hive/warehouse 查看目录文件大小 hdfs dfs -du -s -h /user/hive/warehouse 查看目录概况 hdfs d 阅读全文
posted @ 2022-09-20 14:50 葫芦杯 阅读(219) 评论(0) 推荐(0)
pycharm配置Spark开发环境
摘要：1.下载并安装JDK 2.下载并安装python 3.下载hadoop 4.下载winutils.exe并放在hadoop\bin目录下 5.pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark安装pyspark和py4 阅读全文
posted @ 2021-03-31 17:43 葫芦杯 阅读(21) 评论(0) 推荐(0)
Could not open connection to the HS2 server解决方案
摘要：问题如下： Error:Could not open client transport with JDBC Uri: jdbc:hive2://node01:10000/default:java.net.ConnectException refused 先输入下面命令，确定metostore能不能启 阅读全文
posted @ 2021-03-23 09:29 葫芦杯 阅读(48) 评论(0) 推荐(0)
Cannot modify ..** at runtime. It is not in list of params that are allowed to be modified at runtime
摘要：hive 与 ranger 开启权限验证后：使用自定义参数 set xxx 时会报错， org.apache.hive.service.cli.HiveSQLException: Error while processing statement: Cannot modify ..** at runt 阅读全文
posted @ 2021-01-26 14:22 葫芦杯 阅读(5144) 评论(0) 推荐(0)
Hive3 中case when的一个乱码问题与实践
摘要：现象描述： select a.apply_no, (case when coalesce(a.final_repay_date, '2999-12-31') > '2020-05-01' then a.uid when coalesce(a.user_final_repay_date, '2999- 阅读全文
posted @ 2020-05-27 10:50 葫芦杯 阅读(639) 评论(0) 推荐(0)
MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)
摘要：重建mysql的hive元数据库： drop database hive; create database hive; alter database hive character set latin1; 重启hive 阅读全文
posted @ 2020-02-14 22:44 葫芦杯 阅读(1116) 评论(0) 推荐(0)
HIVE的一些关键内容解释说明
摘要：查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库 阅读全文
posted @ 2020-02-13 21:58 葫芦杯 阅读(378) 评论(0) 推荐(0)
Cannot obtain block length for LocatedBlock故障分析和解决
摘要：一.问题背景 采用OGG进行数据实时同步时，发现同步的文件通过外部表不可读，cat一下某天的HDFS文件内容的时候报Cannot obtain block length for LocatedBlock异常 二.解决过程 1.既然是hdfs文件出问题,用fsck检查一下吧 hdfs fsck / 当 阅读全文
posted @ 2020-02-06 16:46 葫芦杯 阅读(792) 评论(0) 推荐(0)