Spark运维 - 随笔分类 - 宁弘道

运维系列：10、Spark监控之Metrics

摘要：Spark使用的Metrics是https://github.com/dropwizard/metrics配置参考conf/metrics.properties.template 模块模板，并带有配置说明配置方法syntax: [instance].sink|source.[name].[optio... 阅读全文

posted @ 2014-09-16 17:43 宁弘道阅读(1163) 评论(0) 推荐(0)

运维系列：08、Spark Shell

摘要：./bin/spark-shell --master spark://MASTER:PORT启动集群模式：MASTER=spark://`hostname`:7077 bin/spark-shellbin/spark-shell --master spark://es122:7077单机模式：bin... 阅读全文

posted @ 2014-09-12 11:13 宁弘道阅读(360) 评论(0) 推荐(0)

运维系列：07、spark-submit

摘要：bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -... 阅读全文

posted @ 2014-09-12 10:25 宁弘道阅读(425) 评论(0) 推荐(0)

运维系列：06、Spark调优

摘要：1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低... 阅读全文

posted @ 2014-09-12 10:12 宁弘道阅读(415) 评论(0) 推荐(0)

运维系列：05、Spark on Yarn

摘要：Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。例如：SPARK_YARN_USER_ENV="JAVA_H... 阅读全文

posted @ 2014-09-12 10:10 宁弘道阅读(432) 评论(0) 推荐(0)

运维系列：04、Spark Standalone运行

摘要：安装配置hosts配置：用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E... 阅读全文

posted @ 2014-09-12 10:08 宁弘道阅读(483) 评论(0) 推荐(0)

运维系列：03、Spark 单机版

摘要：直接解压，无需配置运行样例：bin/run-example org.apache.spark.examples.GroupByTest 1 阅读全文

posted @ 2014-09-12 10:07 宁弘道阅读(236) 评论(0) 推荐(0)

运维系列：02、Spark的部署方式

摘要：单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef 阅读全文

posted @ 2014-09-12 10:06 宁弘道阅读(226) 评论(0) 推荐(0)

运维系列：01、Spark编译与打包

摘要：1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1... 阅读全文

posted @ 2014-09-12 10:05 宁弘道阅读(769) 评论(0) 推荐(0)

随笔分类 - Spark运维