摘要：
最近在部署livy服务发现报错java.net.unknownhostexception: jr-hdfs，起初看了一下报错，以为是/etc/hosts的问题，试过之后发现并不是 最后发现是PYSPARK_ARCHIVES_PATH配置的地址错了 阅读全文
摘要：
linux执行脚本出现-bash: ./a.sh: /bin/bash^M 报错，可能是因为编辑工具的原因导致文件格式不对 在linux上使用vim命令进入文件vim a.sh查看文件格式:set ff若果提示是fileformat=dos 则使用:set fileformat=unix将文件格式转 阅读全文
摘要：
Exception in thread "main" java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (S 阅读全文
摘要：
最近在一个集群上扩容livyserver出现了这个报错，远程客户端创建失败 想起这个集群好像有白名单限制，于是登录livyserver主机跑一下spark样例 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master 阅读全文
摘要：
最近在使用waggle-dance的thrift服务时，在测试环境运行没有问题，但是到了生产环境出现了这问题. 翻译官方文档的话就是：在某些网络限制阻止从运行 Waggle Dance 的机器到运行 Thrift Hive Metastore 服务的机器的直接连接的情况下，Waggle Dance 阅读全文
摘要：
错误： 失败原因：- 由于客户端连接大于hive.server2.thrift.max.worker.threads，我们收到此错误，HiveServer2 停止接受新连接并最终失败 阅读全文
摘要：
在打jar包时至指定在Manifest里只指定一个主类,与shell命令行传递参数有关 当项目中有两个public 类 org.example.HiveServerTestJDBC org.example.MetastoreTestConcurrent， Manifest文件中指定一个主类Main- 阅读全文
摘要：
`package com.shsxt.java.core.demo; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.J 阅读全文
摘要：
报错信息： log4j:WARN No appenders could be found for logger (org.example.MetastoreTestConcurrent). log4j:WARN Please initialize the log4j system properly. 阅读全文
摘要：
 阅读全文