代码改变世界

随笔分类 -  Spark

Spark的几种运行模式

2016-01-24 21:18 by Mandylover, 571 阅读, 收藏,
摘要： 1.local单机模式，结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 1002.... 阅读全文

Spark简介

2016-01-23 22:15 by Mandylover, 357 阅读, 收藏,
摘要： 1. Spark是近年来发展较快的分布式并行数据处理框架，可以与Hadoop联合使用，增强Hadoop的性能。同时，Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。2.Spark的特点： ○ 高可伸缩性 ○ 高容错○ 基于内存计算3.Spark的生态体系:BDAS ○ M... 阅读全文