随笔分类 -  Spark

上一页 1 2
Spark的运行模式(2)--Yarn-Cluster和Yarn-Client
摘要：3. Yarn-Cluster Yarn是一种统一资源管理机制，可以在上面运行多种计算框架。Spark on Yarn模式分为两种：Yarn-Cluster和Yarn-Client，前者Driver运行在Worker节点，后者Driver运行在Client节点上。采用Spark on Yarn模式， 阅读全文
posted @ 2017-05-15 17:14 MSTK 阅读(5559) 评论(0) 推荐(0)
Spark的运行模式(1)--Local和Standalone
摘要：Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone 阅读全文
posted @ 2017-05-15 15:25 MSTK 阅读(5287) 评论(2) 推荐(0)
Spark分布式集群的搭建和运行
摘要：集群共三台CentOS虚拟机，一个Matser，主机名为master；三个Worker，主机名分别为master、slave03、slave04。前提是Hadoop和Zookeeper已经安装并且开始运行。 1. 在master上下载Scala-2.11.0.tgz，复制到/opt/下面，解压，在/ 阅读全文
posted @ 2017-04-11 17:18 MSTK 阅读(2626) 评论(0) 推荐(0)

上一页 1 2