摘要：
阅读本篇博客前需先了解图数据、scala、spark相关知识 GraphFrames是一款图处理类库。该类库构建在DataFrame之上，既能利用DataFrame良好的扩展性和强大的性能，同时也为Scala、Java和Python提供了统一的图处理API。 github:https://githu 阅读全文
posted @ 2023-11-30 21:04
MuXinu
阅读(666)
评论(0)
推荐(0)
摘要：
spark-submit 提交文件支持的路径类型 类似以下参数 --files --jars --archives --conf spark.yarn.jars --conf spark.yarn.archive --conf spark.yarn.dist.archives --conf spar 阅读全文
posted @ 2023-11-30 20:42
MuXinu
阅读(96)
评论(0)
推荐(0)
摘要：
spark.yarn.dist.jars 作用 用于指定分发到集群节点上的 JAR 包的路径。 工作原理 Spark 应用程序的执行器会将这些 JAR 包分发到它们的本地文件系统上。这样，应用程序可以在执行期间访问这些 JAR 包。 使用场景 适用于应用程序的依赖项，这些依赖项不需要在整个集群中共享 阅读全文
posted @ 2023-11-30 20:28
MuXinu
阅读(877)
评论(0)
推荐(0)
浙公网安备 33010602011771号