摘要：
问题描述： 在python执行subprocess.Popen在win10下运行报740错误。 解决方法： 以管理员身份执行程序。 阅读全文
posted @ 2022-10-18 14:01
葫芦杯
阅读(206)
评论(0)
推荐(0)
摘要：
1.pop.xml配置 hive与hadoop的配置版本要匹配，一般hive 2.X版本要选择hadoop2.x版本，否则会不兼容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifac 阅读全文
posted @ 2022-10-09 16:33
葫芦杯
阅读(2413)
评论(0)
推荐(0)
摘要：
1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文
posted @ 2022-10-09 16:06
葫芦杯
阅读(569)
评论(0)
推荐(0)
摘要：
原始代码为： org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误： Can't get Kerberos realm 原因： 程序读取不到krb5.conf 解决办法： 在JVM启动参数中添加了参数 阅读全文
posted @ 2022-10-09 15:45
葫芦杯
阅读(5890)
评论(0)
推荐(0)
摘要：
hive与hadoop的兼容性问题 1. 问题出现 工作需要，在本地安装hive进行相关测试工作，版本选的是hadoop-3.0.0，hive-2.1.1。这个版本是按照CDH集群版本配的，本来以为没有冲突 #报错信息 Exception in thread "main" java.lang.Ill 阅读全文
posted @ 2022-10-08 13:47
葫芦杯
阅读(1417)
评论(0)
推荐(0)
摘要：
hive-jdbc和jetty冲突，所以在hive-jdbc中对jetty进行排除就OK <exclusions> <exclusion> <groupId>org.eclipse.jetty.aggregate</groupId> <artifactId>*</artifactId> </excl 阅读全文
posted @ 2022-10-08 13:45
葫芦杯
阅读(354)
评论(0)
推荐(0)
摘要：
NUMBER往往没有指定P，S的值，那么默认情况下，NUMBER的P、S的值分别是多少呢？ 武断的判断“如果不指定p和s，NUMBER类型，它的默认精度值为38, 默认的scale值为0” 创建表create table test(id number, id1 number(38,4));插入数据 阅读全文
posted @ 2022-09-21 16:12
葫芦杯
阅读(915)
评论(0)
推荐(0)
摘要：
1.查看所有数据库容量大小 select table_schema as '数据库', sum(table_rows) as '记录数', sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)', sum(truncate(index_length 阅读全文
posted @ 2022-09-21 13:36
葫芦杯
阅读(66)
评论(0)
推荐(0)
摘要：
列出文件目录 hdfs dfs -ls /user/hive/warehouse 列出全部目录与文件 hdfs dfs -ls -R /user/hive/warehouse 查看目录文件大小 hdfs dfs -du -s -h /user/hive/warehouse 查看目录概况 hdfs d 阅读全文
posted @ 2022-09-20 14:50
葫芦杯
阅读(240)
评论(0)
推荐(0)
摘要：
#!/bin/bash datebeg=$1 dateend=$2 set -e beg_s=` date -d "$datebeg" +%s` end_s=` date -d "$dateend" +%s` while((end_s>=beg_s)) do incdate=`date -d @$b 阅读全文
posted @ 2022-09-14 17:26
葫芦杯
阅读(222)
评论(0)
推荐(0)
浙公网安备 33010602011771号