2020年12月26日
Hadoop3 No FileSystem for scheme "hdfs"
摘要： Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo 阅读全文
posted @ 2020-12-26 11:15 风雨咒之无上密籍 阅读(1664) 评论(0) 推荐(0) 编辑
org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application
摘要： org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文
posted @ 2020-12-26 11:13 风雨咒之无上密籍 阅读(605) 评论(0) 推荐(0) 编辑
使用JAAS文件登陆kerberos（zookeeper）
摘要： Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con 阅读全文
posted @ 2020-12-26 11:03 风雨咒之无上密籍 阅读(3323) 评论(0) 推荐(1) 编辑
搭建私有仓库Registry（Docker Hub）
摘要： 搭建私有仓库Registry（Docker Hub） 安装Docker 拉取仓库镜像：# docker pull registry 生成认证certificate mkdir ~/certs openssl req -newkey rsa:4096 -nodes -sha256 -keyout /r 阅读全文
posted @ 2020-12-26 10:48 风雨咒之无上密籍 阅读(244) 评论(0) 推荐(0) 编辑
使用Dockerfile安装R语言镜像
摘要： Dockerfile: FROM centos7 WORKDIR /opt/mids/ COPY Miniconda3-latest-Linux-x86_64.sh . RUN sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/R && \ / 阅读全文
posted @ 2020-12-26 10:47 风雨咒之无上密籍 阅读(740) 评论(0) 推荐(0) 编辑
使用Miniconda安装R语言环境
摘要： 使用Miniconda安装R语言 下载Miniconda3-latest-Linux-x86_64.sh 静默安装 sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/Miniconda3-Rlang 激活conda环境：/opt/mids/Mi 阅读全文
posted @ 2020-12-26 10:45 风雨咒之无上密籍 阅读(2341) 评论(0) 推荐(0) 编辑
spark读取空orc文件时报错java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
摘要： 问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you 阅读全文
posted @ 2020-12-26 10:33 风雨咒之无上密籍 阅读(1843) 评论(0) 推荐(0) 编辑