配置Jupyter Notebook on Spark

配置jupyter notebook访问spark

配置步骤如下:
1)配合好hadoop,spark:spark和hadoop的bin要在path中,一会用到pyspark的命令
2)安装好anaconda
3)修改anaconda的配置文件
[hduser@master]\(jupyter-notebook --generate-config [hduser@master]\)vim /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip = '' #重要。修改成""是为了不限定IP访问,如果指定某个IP运行,修改成该IP即可。如果此处维持为原始的localhost,服务器上运行jupyter otebook时就可能出现socket.error Errno 99 Cannot assign requested address报错。

        c.NotebookApp.port = XXXX                         #重要。即对外提供访问的端口,比如8899,记住这个数

        c.NotebookApp.open_browser = False                #False即启动不打开浏览器

        :

c.NotebookApp.notebook_dir = u'/home/hduser/sparkml/' #先要创建这个目录,否则下一步执行不起来:
4) 服务器运行jupyter notebook
[hduser@master]$PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
5)客户端执行 http://192.168.10.11/8899
测试:创建一个python文件
输入:type(sc) ,显示pyspark.context.SparkContext,其中sparkContext在Spark应用程序的执行过程中起着主导作用,它负责与程序和spark集群进行交互,包括申请集群资源、创建RDD、accumulators及广播变量等
输入:type(spark) ,显示pyspark.sql.session.SparkSession
注意:spark2.0后,用sparksession代替sparkcontext(操作rdd)和sqlcontext(操作sql)的创建

        输入:sc.textFile('/home/hduser/app/spark/README.md').count() #file:///或file:/也都可以
posted @ 2020-06-05 15:39  邓明晨  阅读(126)  评论(0编辑  收藏