10 2022 档案

java连接ranger+ldap认证的hive
摘要：使用java连接ranger+ldap认证的hive，通过jdbc加上用户名密码即可，代码示例如下： import java.sql.*; public class JdbcHiveLdap { private static String driverName = "org.apache.hive. 阅读全文
posted @ 2022-10-20 09:49 葫芦杯 阅读(317) 评论(0) 推荐(0)
注解@ApiOperation的作用
摘要：@ApiOperation不是spring自带的注解是swagger里的 com.wordnik.swagger.annotations.ApiOperation; @ApiOperation和@ApiParam为添加的API相关注解，个参数说明如下：@ApiOperation(value = “接 阅读全文
posted @ 2022-10-18 14:40 葫芦杯 阅读(736) 评论(0) 推荐(0)
datax3在windows环境下cmd乱码
摘要：问题描述： 运行 python \xxx\datax.py \xxx\job.json控制台汉字显示乱码。 原因分析： window操作系统默认编码格式是gbk（963）编码，而在程序开发中我们统一的编码是 UTF-8。这样导致编码不一致，中文乱码！ 解决方案： 临时更改： 命令：chcp （更改该 阅读全文
posted @ 2022-10-18 14:19 葫芦杯 阅读(313) 评论(0) 推荐(0)
subprocess.Popen运行报错WindowsError: [Error 740]
摘要：问题描述： 在python执行subprocess.Popen在win10下运行报740错误。 解决方法： 以管理员身份执行程序。 阅读全文
posted @ 2022-10-18 14:01 葫芦杯 阅读(195) 评论(0) 推荐(0)
java连接接kerberos认证下的hive
摘要：1.pop.xml配置 hive与hadoop的配置版本要匹配，一般hive 2.X版本要选择hadoop2.x版本，否则会不兼容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifac 阅读全文
posted @ 2022-10-09 16:33 葫芦杯 阅读(2389) 评论(0) 推荐(0)
java连接simple与kerberos认证hadoop集群
摘要：1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文
posted @ 2022-10-09 16:06 葫芦杯 阅读(565) 评论(0) 推荐(0)
Kerberos 认证错误 ：Can't get Kerberos realm
摘要：原始代码为： org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误： Can't get Kerberos realm 原因： 程序读取不到krb5.conf 解决办法： 在JVM启动参数中添加了参数 阅读全文
posted @ 2022-10-09 15:45 葫芦杯 阅读(5803) 评论(0) 推荐(0)
Unrecognized Hadoop major version number: 3.0.0 版本冲突解决
摘要：hive与hadoop的兼容性问题 1. 问题出现 工作需要，在本地安装hive进行相关测试工作，版本选的是hadoop-3.0.0，hive-2.1.1。这个版本是按照CDH集群版本配的，本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文
posted @ 2022-10-08 13:47 葫芦杯 阅读(1402) 评论(0) 推荐(0)
druid-spring-boot-starter整合hive与hadoop的排除类
摘要：hive-jdbc和jetty冲突，所以在hive-jdbc中对jetty进行排除就OK <exclusions> <exclusion> <groupId>org.eclipse.jetty.aggregate</groupId> <artifactId>*</artifactId> </excl 阅读全文
posted @ 2022-10-08 13:45 葫芦杯 阅读(349) 评论(0) 推荐(0)