随笔分类 - Spark

摘要:一、概述 在spark程序中,当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时,Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上,并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的,但是,Spa 阅读全文
posted @ 2018-04-21 16:59 扎心了,老铁 阅读(24462) 评论(2) 推荐(7) 编辑
摘要:一、RDD的概述 1.1 什么是RDD? RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执 阅读全文
posted @ 2018-04-21 11:28 扎心了,老铁 阅读(137493) 评论(11) 推荐(32) 编辑
摘要:一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.e 阅读全文
posted @ 2018-04-20 20:40 扎心了,老铁 阅读(51744) 评论(4) 推荐(6) 编辑
摘要:一、官网介绍 1、什么是Spark 官网地址:http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看,Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的 阅读全文
posted @ 2018-04-19 21:24 扎心了,老铁 阅读(189611) 评论(3) 推荐(21) 编辑