风雨咒之无上密籍

摘要： 创建maven工程，pom.xml中引入连接k8s的客户端jar包： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <fab 阅读全文

摘要： 使用s3fs-fuse挂载minio文件时无法删除问题排查过程 结论：部分场景无法满足，具体问题详见正文 1. 部署minio docker run -p 9000:9100 -p 9090:9190 --name minio -v /opt/minio/data:/data -e "MINIO_R 阅读全文

摘要： 1.编译过程 参考：https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/ 2.问题记录 CDH6.3.2 Hadoop源码位置发生变化，新地址为https://github.com/cloudera/hadoop-commo.old 阅读全文

摘要： 1.安装Fiddler 略 2.编辑FiddlerScript，增加拦截判断 Goto OnBeforeResponse，跳转到指定函数，在函数中添加拦截某些http代码，如下。 if (oSession.fullUrl.Contains("/api/review-opinion/list")) { 阅读全文

摘要： 过程中存在问题： maven编译scala工程报错java.lang.NoClassDefFoundError: scala/reflect/internal/Trees，解决方案看maven编译 1.新建Maven工程sparkdemo-2.3.3 过程略 2.配置pom.xml <?xml ve 阅读全文

摘要： window本地部署单机hadoop，修改配置文件和脚本如下，只记录关键配置和步骤，仅供参考 hadoop-2.6.5 spark-2.3.3 1.配置文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <valu 阅读全文

摘要： window下运行任务报错：Exception message: CreateSymbolicLink error (1314): ??????????? 报错信息如下： Diagnostics: Exception from container-launch. Container id: cont 阅读全文

摘要： 环境 window server 2019 单机版hadoop3.3.1 和 winutils.exe 异常 winutils.exe task create -m -1 -c -1 continer_2123_231 cmd /c "lanuch_container.bat" ExitCodeEx 阅读全文

摘要： Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo 阅读全文

摘要： org.apache.hadoop.security.AccessControlException: Queue root.online already has 0 applications, cannot accept submission of application - HDP2 - YARN 阅读全文