随笔分类 -  Spark

Spark-Unit2-Spark交互式命令行与SparkWordCount
摘要：一、Spark交互式命令行 启动脚本：spark-shell 先启动spark：./start-all.sh 本地模式启动命令：/bin/spark-shell 集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-execu 阅读全文
posted @ 2019-01-13 10:26 给你一个公主抱 阅读(998) 评论(0) 推荐(0)
Spark-Unit1-spark概述与安装部署
摘要：一、Spark概述 spark官网：spark.apache.org Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce（MR）与spark的对比： 1.MR在计算中产生的结果存储在磁盘上，s 阅读全文
posted @ 2019-01-12 23:06 给你一个公主抱 阅读(459) 评论(0) 推荐(1)