随笔分类 -  spark

[error] sbt.librarymanagement.ResolveException: Error downloading org.apache.spark:spark-core_2.10:3.2.4 [问题的解决
摘要：问题描述 使用sbt打包报错 问题解决 进入到spark-shell和scala的版本不一样，在项目的simple.sbt文件里面的版本与前者一致即可解决这个问题！ 阅读全文
posted @ 2024-01-11 22:50 yesyes1 阅读(199) 评论(0) 推荐(0)
error: object StdIn is not a member of package io问题的解决
摘要：问题描述 问题解决 StdIn是在2.11之后才有的，之前的不具有，我现在是2.10.7，只要更新版本即可； 阅读全文
posted @ 2024-01-10 21:59 yesyes1 阅读(81) 评论(0) 推荐(0)
虚拟机安装sbt相关步骤
摘要：1、下载sbt-1.9.0.tgz的压缩包 2、将上述文件上传到虚拟机的/export/server目录下 3、将tgz文件解压到当前文件夹 tar -zxvf sbt-1.9.0.tgz 4、在sbt安装目录下新建一个名为sbt的文件 vim sbt //然后将下面的代码语句复制进去，然后保存退出 阅读全文
posted @ 2023-11-14 23:20 yesyes1 阅读(261) 评论(0) 推荐(0)
大型数据库作业相关步骤实现
摘要：1、导入Maven压缩包到虚拟机本地 2、解压maven压缩包 sudo unzip apache-maven-3.9.2-bin.zip 3、以当前主机用户名登录 4、在终端创建一个名为sparkapp2的文件夹 cd ~ mkdir -p ./sparkapp2/src/main/java // 阅读全文
posted @ 2023-10-24 13:31 yesyes1 阅读(19) 评论(0) 推荐(0)
Maven打包报错问题的解决-- No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format
摘要：问题描述 在使用maven执行打包操作时，出现了这样的错误： 上面的图片是网上的图，我的图片忘记截图了； 问题解决 在我们创建的项目里面的pom.xml文件里面的dependencies标签后面，新建一个build标签， 并在build标签里面放上这句代码： <defaultGoal>compile 阅读全文
posted @ 2023-10-24 13:23 yesyes1 阅读(1310) 评论(0) 推荐(0)
Error: Unable to access jarfile ./sbt-launch.jar问题的解决
摘要：问题描述 在配置好sbt之后，尝试运行一下./sbt sbtVersion这个命令； 却突然出现上面那种情况； 问题解决 重新查看相关教程，发现我漏掉一个步骤，一定要将sbt的bin目录下的sbt-launch.jar复制到 sbt的安装目录下，不然就会找不到这个jar包而出错； 命令(在sbt的安 阅读全文
posted @ 2023-10-23 21:13 yesyes1 阅读(577) 评论(0) 推荐(0)
虚拟机的Spark安装步骤
摘要：相关代码截图 //解压压缩包 tar -zxvf spark-3.2.4-bin-hadoop3.2.tgz //进入到spark安装目录的conf目录下 //复刻spark--env.sh.template文件 cp spark-env.sh.template spark-env.sh //修改s 阅读全文
posted @ 2023-10-23 18:07 yesyes1 阅读(211) 评论(0) 推荐(0)
Spark相关学习之基础认识
摘要：1、Spark相关概念介绍 是一个分布式计算框架； 2、Spark的框架模块 3、Spark运行模式 Spark总结概述： 4、Local模式 阅读全文
posted @ 2023-10-07 10:33 yesyes1 阅读(12) 评论(0) 推荐(0)