2017年12月15日

idea python notebook连接pyspark
摘要： 1、启动pyspark 2、查看pyspark服务的token jupyter notebook list 查看正在运行的notebook服务以及他们的token 3、在idea里运行notebook文件，在提示输入token时输入token值 阅读全文
posted @ 2017-12-15 22:58 层林尽染 阅读(189) 评论(0) 推荐(0)
在windows上面安装并用jupyter运行pyspark
摘要： 1，下载hadoop winutils 设置HADOOP_HOME 2、下载spark，设置SPARK_HOME，将%SPARK_HOME%/加入到PATH路径下 3、安装Anaconda 就是python及一些相关Python包，设置 4、设置PYTHON_HOME 5、设置PYSPARK_DRI 阅读全文
posted @ 2017-12-15 22:51 层林尽染 阅读(841) 评论(0) 推荐(0)
spark读写mysql
摘要： spark读写mysql除官网例子外还要指定驱动名称 阅读全文
posted @ 2017-12-15 20:10 层林尽染 阅读(201) 评论(0) 推荐(0)

导航