2022年6月18日
Spark源码修改环境搭建
摘要： 过程中存在问题： maven编译scala工程报错java.lang.NoClassDefFoundError: scala/reflect/internal/Trees，解决方案看maven编译 1.新建Maven工程sparkdemo-2.3.3 过程略 2.配置pom.xml <?xml ve 阅读全文
posted @ 2022-06-18 15:31 风雨咒之无上密籍 阅读(139) 评论(0) 推荐(0)
window下部署单机hadoop环境
摘要： window本地部署单机hadoop，修改配置文件和脚本如下，只记录关键配置和步骤，仅供参考 hadoop-2.6.5 spark-2.3.3 1.配置文件core-site.xml <configuration> <property> <name>fs.defaultFS</name> <valu 阅读全文
posted @ 2022-06-18 14:14 风雨咒之无上密籍 阅读(408) 评论(0) 推荐(0)
Exception message: CreateSymbolicLink error (1314): ???????????
摘要： window下运行任务报错：Exception message: CreateSymbolicLink error (1314): ??????????? 报错信息如下： Diagnostics: Exception from container-launch. Container id: cont 阅读全文
posted @ 2022-06-18 13:57 风雨咒之无上密籍 阅读(443) 评论(0) 推荐(0)