Spark安装(单机版)
选择版本和type,这里为 spark-2.4.4-bin-without-hadoop.tgz
1.1 命令下载:
1 cd ~/software 2 wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz
1 tar -xzvf spark-2.4.4-bin-without-hadoop.tgz 2 mv spark-2.4.4-bin-without-hadoop.tgz spark
使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
1 export SPARK_HOME=/software/spark 2 export PATH=$PATH:$SPARK_HOME/bin
可以使用echo $PATH 输出查看是否正确
2. 简单配置
2.1 安装scala并配置环境变量
2.2 配置spark-env.sh变量环境
位置: $SPARK_HOME/conf/spark-env.sh.template
命令:
1 cd /software/spark/conf 2 # 复制并重命名 3 cp spark-env.sh.template spark-env.sh 4 vim spark-env.sh
1 # hadoop java scala等须安装好并配置好 环境变量 2 export JAVA_HOME=/usr/local/java/jdk1.8 3 export SCALA_HOME=/software/scala 4 export SPARK_HOME=/software/spark 5 # 单机版配置为本机 ip 6 export SPARK_MASTER_IP=127.0.0.1 7 export SPARK_EXECUTOR_MEMORY=1G 8 export SPARK_DIST_CLASSPATH=$(hadoop classpath)
文件位置: $SPARK_HOME/conf/slaves.template
命令:
1 cd /software/spark/conf 2 # 复制并重命名 3 cp slaves.template slaves 4 vim slaves
1 localhost
在 $SPARK_HOME/examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令:
1 [root@VM_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly" 2 Pi is roughly 3.1369756848784243 3 [root@VM_0_8_centos spark]#
2.5 启动/停止:
1 # 启动shell 2 spark-shell 3 4 # 关闭 5 ctrl+d
作者:Mr.SongHui
欢迎转载,但必须给出原文链接,并保留此段声明。
粉丝福利:
【腾讯云·年末有礼】云产品限时秒杀,云服务器1核2G,首年128元
【腾讯云】海外1核2G服务器低至2折,半价续费券限量免费领取!
【腾讯云】专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得
【腾讯云】热卖云产品3折起,云服务器、云数据库特惠,服务更稳,速度更快,价格更优
【腾讯云】腾讯云服务器安全可靠高性能,多种配置供您选择
【腾讯云】助力中小微企业上云,满足轻量级Web应用需求,云服务器钜惠 166元/年起
【腾讯云】云数据库全场年购3折起,新用户上云6个月仅需10元
【腾讯云】腾讯云数据库性能卓越稳定可靠,为您解决数据库运维难题
【腾讯云】腾讯云图,像PPT一样简单的数据可视化工具。5元搞定数据可视化,模板丰富,拖拖拽拽就能做出好看的可视化大屏
【腾讯云】流量包低至0.12元/GB , 结合在线教育、电商直播、社交直播场景,提供IM+直播+点播音视频组合优惠
【腾讯云】Redis单机版特惠2.1折起,为缓存业务量身定制,新用户8元起购
【腾讯云】专业版APP加固特惠5折起,可享免费兼容性测试
【腾讯云】专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得
【腾讯云·年末有礼】云产品限时秒杀,云服务器1核2G,首年128元
【腾讯云】海外1核2G服务器低至2折,半价续费券限量免费领取!
【腾讯云】专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得
【腾讯云】热卖云产品3折起,云服务器、云数据库特惠,服务更稳,速度更快,价格更优
【腾讯云】腾讯云服务器安全可靠高性能,多种配置供您选择
【腾讯云】助力中小微企业上云,满足轻量级Web应用需求,云服务器钜惠 166元/年起
【腾讯云】云数据库全场年购3折起,新用户上云6个月仅需10元
【腾讯云】腾讯云数据库性能卓越稳定可靠,为您解决数据库运维难题
【腾讯云】腾讯云图,像PPT一样简单的数据可视化工具。5元搞定数据可视化,模板丰富,拖拖拽拽就能做出好看的可视化大屏
【腾讯云】流量包低至0.12元/GB , 结合在线教育、电商直播、社交直播场景,提供IM+直播+点播音视频组合优惠
【腾讯云】Redis单机版特惠2.1折起,为缓存业务量身定制,新用户8元起购
【腾讯云】专业版APP加固特惠5折起,可享免费兼容性测试
【腾讯云】专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得
[需要广告托管服务的朋友请留步哦]