2020年12月26日
org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application
摘要： org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文
posted @ 2020-12-26 11:13 风雨咒之无上密籍 阅读(605) 评论(0) 推荐(0) 编辑
使用JAAS文件登陆kerberos（zookeeper）
摘要： Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con 阅读全文
posted @ 2020-12-26 11:03 风雨咒之无上密籍 阅读(3323) 评论(0) 推荐(1) 编辑
搭建私有仓库Registry（Docker Hub）
摘要： 搭建私有仓库Registry（Docker Hub） 安装Docker 拉取仓库镜像：# docker pull registry 生成认证certificate mkdir ~/certs openssl req -newkey rsa:4096 -nodes -sha256 -keyout /r 阅读全文
posted @ 2020-12-26 10:48 风雨咒之无上密籍 阅读(244) 评论(0) 推荐(0) 编辑
使用Dockerfile安装R语言镜像
摘要： Dockerfile: FROM centos7 WORKDIR /opt/mids/ COPY Miniconda3-latest-Linux-x86_64.sh . RUN sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/R && \ / 阅读全文
posted @ 2020-12-26 10:47 风雨咒之无上密籍 阅读(740) 评论(0) 推荐(0) 编辑
使用Miniconda安装R语言环境
摘要： 使用Miniconda安装R语言 下载Miniconda3-latest-Linux-x86_64.sh 静默安装 sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/Miniconda3-Rlang 激活conda环境：/opt/mids/Mi 阅读全文
posted @ 2020-12-26 10:45 风雨咒之无上密籍 阅读(2341) 评论(0) 推荐(0) 编辑
spark读取空orc文件时报错java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
摘要： 问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you 阅读全文
posted @ 2020-12-26 10:33 风雨咒之无上密籍 阅读(1843) 评论(0) 推荐(0) 编辑
2019年11月10日
Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）
摘要： Spark3.0 preview预览版可以下载使用，地址：https://archive.apache.org/dist/spark/spark-3.0.0-preview/，pom.xml也可以进行引用，如下： 注意：目前阿里云镜像部分包还没有（2019年11月10日，spark-launcher 阅读全文
posted @ 2019-11-10 01:14 风雨咒之无上密籍 阅读(1613) 评论(6) 推荐(0) 编辑
2019年7月30日
Maven使用WEB-INF/lib下面的jar编译和打包
摘要： 在某些情况下，maven无法下载依赖的jar，或者依赖的m2会非常的大，上G那是随随便便的事。为了方便修改和编译，在打出的war包基础上，或者直接把tomcat的webapps下的项目拿出来，就可以用WEB-INF/lib下面的jar包，这样就可以直接引用了。但是，这些jar包如何与maven工程结 阅读全文
posted @ 2019-07-30 15:33 风雨咒之无上密籍 阅读(2612) 评论(0) 推荐(0) 编辑
2019年7月27日
Java连接Hive使用Zookeeper的方式
摘要： Java连接Hive的方式就是通过JDBC的方式来连接，URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等，这种方式是直接连接HiveServer2服务的，但是在现实中，还有一种以Zookeeper的方式去连接，例如： 那么，这种方式的原理是 阅读全文
posted @ 2019-07-27 20:02 风雨咒之无上密籍 阅读(4889) 评论(0) 推荐(0) 编辑
Cloudera-JDBC-Driver-for-Apache-Hive
摘要： Cloudera-JDBC-Driver-for-Apache-Hive-Install-Guide.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for-A 阅读全文
posted @ 2019-07-27 19:41 风雨咒之无上密籍 阅读(501) 评论(0) 推荐(0) 编辑