摘要：
最近在部署livy服务发现报错java.net.unknownhostexception: jr-hdfs，起初看了一下报错，以为是/etc/hosts的问题，试过之后发现并不是 最后发现是PYSPARK_ARCHIVES_PATH配置的地址错了 阅读全文
posted @ 2021-11-02 11:23
DemonQin
阅读(94)
评论(0)
推荐(0)
摘要：
linux执行脚本出现-bash: ./a.sh: /bin/bash^M 报错，可能是因为编辑工具的原因导致文件格式不对 在linux上使用vim命令进入文件vim a.sh查看文件格式:set ff若果提示是fileformat=dos 则使用:set fileformat=unix将文件格式转 阅读全文
posted @ 2021-10-28 10:37
DemonQin
阅读(64)
评论(0)
推荐(0)
摘要：
Exception in thread "main" java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (S 阅读全文
posted @ 2021-10-20 09:55
DemonQin
阅读(258)
评论(0)
推荐(0)
摘要：
最近在一个集群上扩容livyserver出现了这个报错，远程客户端创建失败 想起这个集群好像有白名单限制，于是登录livyserver主机跑一下spark样例 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master 阅读全文
posted @ 2021-10-08 15:03
DemonQin
阅读(469)
评论(0)
推荐(0)
摘要：
最近在使用waggle-dance的thrift服务时，在测试环境运行没有问题，但是到了生产环境出现了这问题. 翻译官方文档的话就是：在某些网络限制阻止从运行 Waggle Dance 的机器到运行 Thrift Hive Metastore 服务的机器的直接连接的情况下，Waggle Dance 阅读全文
posted @ 2021-09-28 17:20
DemonQin
阅读(1468)
评论(0)
推荐(0)
摘要：
错误： 失败原因：- 由于客户端连接大于hive.server2.thrift.max.worker.threads，我们收到此错误，HiveServer2 停止接受新连接并最终失败 阅读全文
posted @ 2021-09-28 15:27
DemonQin
阅读(2422)
评论(0)
推荐(0)
摘要：
在打jar包时至指定在Manifest里只指定一个主类,与shell命令行传递参数有关 当项目中有两个public 类 org.example.HiveServerTestJDBC org.example.MetastoreTestConcurrent， Manifest文件中指定一个主类Main- 阅读全文
posted @ 2021-09-28 01:15
DemonQin
阅读(3603)
评论(0)
推荐(0)
摘要：
`package com.shsxt.java.core.demo; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.J 阅读全文
posted @ 2021-09-28 01:03
DemonQin
阅读(116)
评论(0)
推荐(0)
摘要：
报错信息： log4j:WARN No appenders could be found for logger (org.example.MetastoreTestConcurrent). log4j:WARN Please initialize the log4j system properly. 阅读全文
posted @ 2021-09-28 00:54
DemonQin
阅读(199)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2020-09-11 15:22
DemonQin
阅读(146)
评论(0)
推荐(0)
浙公网安备 33010602011771号