随笔分类 -  常见报错

个人学习或者工作过程中遇到的报错问题随手粘一下
java.net.unknownhostexception: jr-hdfs
摘要：最近在部署livy服务发现报错java.net.unknownhostexception: jr-hdfs，起初看了一下报错，以为是/etc/hosts的问题，试过之后发现并不是 最后发现是PYSPARK_ARCHIVES_PATH配置的地址错了 阅读全文
posted @ 2021-11-02 11:23 DemonQin 阅读(95) 评论(0) 推荐(0)
-bash: ./a.sh: /bin/bash^M
摘要：linux执行脚本出现-bash: ./a.sh: /bin/bash^M 报错，可能是因为编辑工具的原因导致文件格式不对 在linux上使用vim命令进入文件vim a.sh查看文件格式:set ff若果提示是fileformat=dos 则使用:set fileformat=unix将文件格式转 阅读全文
posted @ 2021-10-28 10:37 DemonQin 阅读(65) 评论(0) 推荐(0)
Exception in thread "main" java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied
摘要：Exception in thread "main" java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (S 阅读全文
posted @ 2021-10-20 09:55 DemonQin 阅读(260) 评论(0) 推荐(0)
java.lang.RuntimeException: java.io.IOException: Initialize ConfOptimizer class occur error, javax.naming.AuthenticationException: Cannot get job queue name
摘要：最近在一个集群上扩容livyserver出现了这个报错，远程客户端创建失败 想起这个集群好像有白名单限制，于是登录livyserver主机跑一下spark样例 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master 阅读全文
posted @ 2021-10-08 15:03 DemonQin 阅读(469) 评论(0) 推荐(0)
[ERROR] Got exception: org.apache.thrift.transport.TTransportException null
摘要：最近在使用waggle-dance的thrift服务时，在测试环境运行没有问题，但是到了生产环境出现了这问题. 翻译官方文档的话就是：在某些网络限制阻止从运行 Waggle Dance 的机器到运行 Thrift Hive Metastore 服务的机器的直接连接的情况下，Waggle Dance 阅读全文
posted @ 2021-09-28 17:20 DemonQin 阅读(1469) 评论(0) 推荐(0)
错误：set_ugi() not successful, Likely cause: new client talking to old server. Continuing without it.
摘要：错误： 失败原因：- 由于客户端连接大于hive.server2.thrift.max.worker.threads，我们收到此错误，HiveServer2 停止接受新连接并最终失败 阅读全文
posted @ 2021-09-28 15:27 DemonQin 阅读(2433) 评论(0) 推荐(0)
java -jar 传递参数
摘要：在打jar包时至指定在Manifest里只指定一个主类,与shell命令行传递参数有关 当项目中有两个public 类 org.example.HiveServerTestJDBC org.example.MetastoreTestConcurrent， Manifest文件中指定一个主类Main- 阅读全文
posted @ 2021-09-28 01:15 DemonQin 阅读(3603) 评论(0) 推荐(0)
日志报错 log4j:WARN No appenders could be found for logge
摘要：报错信息： log4j:WARN No appenders could be found for logger (org.example.MetastoreTestConcurrent). log4j:WARN Please initialize the log4j system properly. 阅读全文
posted @ 2021-09-28 00:54 DemonQin 阅读(199) 评论(0) 推荐(0)
Service对象创建失败
摘要：错误： org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'roleService': Unsatisfied dependency expressed th 阅读全文
posted @ 2020-08-24 10:16 DemonQin 阅读(452) 评论(0) 推荐(0)
Spark算子
摘要：spark常用算子及示例 触发算子 一个application应用程序中有几个Action类算子执行，就有几个job运行 1、count 返回数据集中的元素数。会在结果计算完成后回收到Driver端 2、countByKe 作用到K,V格式的RDD上，根据Key计数相同Key的数据集元素。 3、co 阅读全文
posted @ 2020-06-04 16:25 DemonQin 阅读(297) 评论(0) 推荐(0)
解决使用IDEA启动Tomcat成功但localhost:8080无法访问的问题
摘要：解决使用IDEA启动Tomcat成功但localhost:8080无法访问的问题 阅读全文
posted @ 2020-05-12 16:55 DemonQin 阅读(3322) 评论(0) 推荐(0)