访问次数
我的另一个总结性博客: todototry 大米粒

如何在本地使用scala或python运行Spark程序

如何在本地使用scala或python运行Spark程序
 
包含两个部分:
  1. 本地scala语言编写程序,并编译打包成jar,在本地运行。
  2. 本地使用python语言编写程序,直接调用spark的接口,并在本地运行。
 
 
一,scala在本地能成功调用并运行spark接口的主要原理:
  1. spark发布版会将spark所有能力,和依赖包一起打包成spark-assembly.jar,并能够在单机模式下运行spark的local模式。
  2. spark发布版提供spark-submit等工具来提交jar和启动local模式
  3. scala程序可以很方便地使用sbt工具编译打包成jar
 
 
二、scala的编译与打包运行
  1. 下载intelij idea , 安装scala, 以及scala语言plugin 和 sbt plugin
  2. 下载spark 发布包,注意要含Hadoop(可选) 、spark-assembly.jar 、py4j(可选) 、 pyspark(可选) 。(spark-1.5.2-bin-hadoop2.3.tgz)
  3. 创建scala项目,F4项目设置dependency: scala和spark-assembly.jar的依赖。如果要支持sql hive 还需提供
    1. datanucleus-api-jdo-3.2.6.jar         
    2.  datanucleus-core-3.2.10.jar           
    3.  datanucleus-rdbms-3.2.9.jar           
    4.  spark-1.5.2-yarn-shuffle.jar         
    5.  spark-assembly-1.5.2-hadoop2.3.0.jar 
    6.  spark-examples-1.5.2-hadoop2.3.0.jar 
  4. 创建build artificial id, 只需要manifest(main classs) 和 compile output即可。
  5. 编译打包后,生成的jar包,使用以下命令提交:  spark-submit --class weather --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mobile/rf_test.jar
  6. 主程序的依赖包 运行法(--driver-library-path 与--jars 指令合用): spark-submit --class EntropyWeights  --jars scopt_2.10-3.5.0.jar --driver-library-path  scopt_2.10-3.5.0.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mart_mobile/fdy/EntropyWeights.jar
    1. 上述案例是冗余的写法: --jars可以指定driver和executor都需要的依赖,--driver-library-path 为driver程序中依赖的命令行参数解析 jar包,但是excutor中并不需要。
    2. executor需要则:  --spark.executor.extraClassPath to augment the executor classpath
    3. 参考: http://stackoverflow.com/questions/37132559/add-jars-to-a-spark-job-spark-submit
    4. spark-submit --class EntropyWeights  --jars scopt_2.10-3.5.0.jar --driver-library-path  scopt_2.10-3.5.0.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  /home/mart_mobile/fdy/EntropyWeights.jar -t app.app_celebrity_properties_4rank_da -d author_id1,author_pin --colweights commission=1.0,pv=1.0,uv=1.0,upvote_num=1.0,comment_num=1.0,share_num=1.0,enter_detail_pv=1.0,enter_detail_uv=1.0,ordnum_inby_5thevent=1.0,ordsum_inby_5thevent=1.0,ordnum_in_direct=1.0,ordsum_in_direct=1.0,ordnum_in_indirect=1.0,ordsum_in_indirect=1.0,detail_ratio=1.0,import_ratio=1.0,fans_num=1.0,rank=1.0,open_rate=1.0,  -o app.app_celebrity_rank_da
    5. 新的集群出现 org.apache.commons.math jar 包(多 jar 包依赖的制定方法, 分隔符):   spark-submit --class EntropyWeights  --jars ./scopt_2.10-3.5.0.jar,./commons-math-2.1.jar --driver-library-path  ./scopt_2.10-3.5.0.jar:./commons-math-2.1.jar  --conf spark.dynamicAllocation.enabled=true  --conf spark.shuffle.service.enabled=true  ./EntropyWeights.jar -i app.app_celebrity_properties_4rank_da -d author_id1,author_pin --colweights commission=1.0,pv=1.0,uv=1.0,upvote_num=1.0,comment_num=1.0,share_num=1.0,enter_detail_pv=1.0,enter_detail_uv=1.0,ordnum_inby_5thevent=1.0,ordsum_inby_5thevent=1.0,ordnum_in_direct=1.0,ordsum_in_direct=1.0,ordnum_in_indirect=1.0,ordsum_in_indirect=1.0,detail_ratio=1.0,import_ratio=1.0,fans_num=1.0,rank=1.0,open_rate=1.0,  -o app.app_celebrity_rank_da -s 5.0 -t norm  
  7.  
 
 
三、python在本地能成功调用并运行spark接口的主要原理如下,
首先,依赖以下几个环境:
  1. 编译好的spark发布包,包含Hadoop和spark-assembly.jar 
  2. spark项目提供的py4j程序,让python可以访问运行在jvm上的spark。
  3. spark项目提供的pyspark接口,在本地调起spark-assembly.jar,并在py4j的帮助下,方便python语言通过py4j来调用运行在jvm上的spark提供的接口。
 
 
四、本地python调spark的配置和启动方法
  1. 下载spark发布包,注意要含Hadoop、spark-assembly.jar 、py4j 、 pyspark。(spark-1.5.2-bin-hadoop2.3.tgz)
  2. 将该包下python目录下的py4j与pyspark放入到本机python安装第三方库的site-packages目录下
  3. 环境变量的修改:
    1. SPARK_HOME环境变量: os.environ["SPARK_HOME"]='D:\software_bak\spark\spark-1.5.2-bin-hadoop2.3'
    2. Hadoop_home环境变量: os.environ["HADOOP_HOME"]='E:\\hadoop-2.4.1'
  4. 执行。
    1. 可以使用spark的example目录下的wordcount.py与数据people.txt。
    2. 修改该文件的源代码,加入3中所述的两个环境变量。
    3. 运行: python wordcount.py people.txt 即可。
    4. 或者使用 spark-submit 提交 Python 编写的 spark 任务:
      1. 比如 提交的任务中有依赖的 Python 基础库文件:  spark-submit --py-files spark_etl_tools.py  --num-executors 4 --executor-cores 8 --executor-memory 4G --driver-memory 10G --conf spark.driver.maxResultSize=6G   migration_03_welcome_calls.py
 
 
 
 
 
 
posted @ 2019-11-30 14:01  fandyst  阅读(4093)  评论(0编辑  收藏  举报