摘要：
二、在pyspark中运行代码（一）pyspark命令pyspark命令及其常用的参数如下： pyspark --master <master-url> Spark的运行模式取决于传递给SparkContext的Master URL的值。Master URL可以是以下任一种形式： （1）local 阅读全文
posted @ 2025-01-23 21:35
y龙
阅读(75)
评论(0)
推荐(0)
摘要：
（三）下载安装Spark1、Spark安装包下载地址：https://spark.apache.org/ 进入下载页面后，点击主页的“Download”按钮进入下载页面，下载页面中提供了几个下载选项，主要是Spark release及Package type的选择，如下图所示。 我这里下的是Spar 阅读全文
posted @ 2025-01-23 21:34
y龙
阅读(30)
评论(0)
推荐(0)
摘要：
一、安装Spark（一）基础环境安装Spark之前需要安装Linux系统、Java环境（Java8或JDK1.8以上版本）和Hadoop环境。 可参考本专栏前面的博客：大数据软件基础（3） —— 在VMware上安装Linux集群-CSDN博客大数据存储技术（1）—— Hadoop简介及安装配置-C 阅读全文
posted @ 2025-01-23 21:33
y龙
阅读(11)
评论(0)
推荐(0)
浙公网安备 33010602011771号