2021年11月25日
window hadoop yarn任务执行失败：ExitCodeException exitCode=-1073741515
摘要： 环境 window server 2019 单机版hadoop3.3.1 和 winutils.exe 异常 winutils.exe task create -m -1 -c -1 continer_2123_231 cmd /c "lanuch_container.bat" ExitCodeEx 阅读全文
posted @ 2021-11-25 16:50 风雨咒之无上密籍 阅读(841) 评论(0) 推荐(0)
2020年12月26日
Hadoop3 No FileSystem for scheme "hdfs"
摘要： Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo 阅读全文
posted @ 2020-12-26 11:15 风雨咒之无上密籍 阅读(2101) 评论(0) 推荐(0)
org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application
摘要： org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文
posted @ 2020-12-26 11:13 风雨咒之无上密籍 阅读(693) 评论(0) 推荐(0)
使用JAAS文件登陆kerberos（zookeeper）
摘要： Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con 阅读全文
posted @ 2020-12-26 11:03 风雨咒之无上密籍 阅读(3919) 评论(0) 推荐(1)
搭建私有仓库Registry（Docker Hub）
摘要： 搭建私有仓库Registry（Docker Hub） 安装Docker 拉取仓库镜像：# docker pull registry 生成认证certificate mkdir ~/certs openssl req -newkey rsa:4096 -nodes -sha256 -keyout /r 阅读全文
posted @ 2020-12-26 10:48 风雨咒之无上密籍 阅读(304) 评论(0) 推荐(0)
使用Dockerfile安装R语言镜像
摘要： Dockerfile: FROM centos7 WORKDIR /opt/mids/ COPY Miniconda3-latest-Linux-x86_64.sh . RUN sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/R && \ / 阅读全文
posted @ 2020-12-26 10:47 风雨咒之无上密籍 阅读(875) 评论(0) 推荐(0)
使用Miniconda安装R语言环境
摘要： 使用Miniconda安装R语言 下载Miniconda3-latest-Linux-x86_64.sh 静默安装 sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/Miniconda3-Rlang 激活conda环境：/opt/mids/Mi 阅读全文
posted @ 2020-12-26 10:45 风雨咒之无上密籍 阅读(2762) 评论(0) 推荐(0)
spark读取空orc文件时报错java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
摘要： 问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you 阅读全文
posted @ 2020-12-26 10:33 风雨咒之无上密籍 阅读(2071) 评论(0) 推荐(0)
2019年11月10日
Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）
摘要： Spark3.0 preview预览版可以下载使用，地址：https://archive.apache.org/dist/spark/spark-3.0.0-preview/，pom.xml也可以进行引用，如下： 注意：目前阿里云镜像部分包还没有（2019年11月10日，spark-launcher 阅读全文
posted @ 2019-11-10 01:14 风雨咒之无上密籍 阅读(1632) 评论(6) 推荐(0)
2019年7月30日
Maven使用WEB-INF/lib下面的jar编译和打包
摘要： 在某些情况下，maven无法下载依赖的jar，或者依赖的m2会非常的大，上G那是随随便便的事。为了方便修改和编译，在打出的war包基础上，或者直接把tomcat的webapps下的项目拿出来，就可以用WEB-INF/lib下面的jar包，这样就可以直接引用了。但是，这些jar包如何与maven工程结 阅读全文
posted @ 2019-07-30 15:33 风雨咒之无上密籍 阅读(2844) 评论(0) 推荐(0)