在mac电脑上成功安装spark . ipython

一、简介

---

1.1内容

在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。

1.2 知识点

• jdk的安装
• spark和pyspark的安装
• 虚拟环境的内核

1.3 环境

本文所有的环境变量是在.bash_profile 或 .zshrc中配置的

vim ~/.bash_profile   # 编辑文件
source ~./bash_profile   # 更新文件

一、安装Java JDK的dmg文件

spark目前暂不支持JDK-9，所以选择下载最新的JDK-8版本
官网下载(慢)
国内下载(快)
下载完成之后，直接点击jdk-8.dmg文件安装，并添加对应的环境变量

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Content    s/Home"
export PATH="$JAVA_HOME/bin:$PATH"

 

在Terminal中输入java查看安装结果

---

二、安装Spark&pyspark

2.1下载

> brew install apache-spark
> sudo -H pip install pyspark --user

 

2.2配置

apache-spark的默认安装位置：/usr/local/Cellar/apache-spark/2.2.0，其版本为目前最新的2.2.0版

# spark的配置

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.2.0"
export PATH="$SPARK_PATH/bin:$PATH"

 

2.3运行

在Terminal中，输入pyspark查看安装是否成功

---

三、pyspark的ipython环境

在jupyter notebook中使用pyspark，需要配置环境变量

# 基于python的版本，配置2或3
export PYSPARK_PYTHON="/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6"
export PYSPARK_DRIVER_PYTHON="/Library/Frameworks/Python.framework/Versions/3.6/bin/ipython3"

export PYSPARK_DRIVER_PYTHON_OPTS="notebook"   #或下边

export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=7777"

alias pysbook='$SPARK_PATH/bin/pyspark'

 启动

在控制台上输入    pyspark

就会以notebook的形式启动spark

 

在terminal中输入pyspark或者pysbook(别名)，可以直接运行带spark的ipython notebook。

---

参考链接：
【1】 stack overflow上的java环境配置
【2】 在mac上搭建spark＋ipython环境
【3】Spark学习（一） -- Spark安装及简介
【4】mac下Spark的安装与使用
【5】Spark安装和配置

作者：A粒麦子
链接：https://www.jianshu.com/p/f284b77289ca
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。