2017 年 12月 21 日随笔档案 - liuxiaopang

2017年12月21日

摘要： master为主节点一个集群中可能运行多个application，因此也可能会有多个driver DAG Scheduler就是讲RDD Graph拆分成一个个stage 一个Task对应一个SparkEnv 客户端提交请求，然后master生成driver，生成对应的SparkContext，然阅读全文

posted @ 2017-12-21 18:27 liuxiaopang 阅读(129) 评论(0) 推荐(0)

二十三、Hadoop学记笔记————Spark简介与计算模型

摘要： spark优势在于基于内存计算，速度很快，计算的中间结果也缓存在内存，同时spark也支持streaming流运算和sql运算 Mesos是资源管理框架，作为资源管理和任务调度，类似Hadoop中的Yran Tachyon是分布式内存文件系统 Spark是核心计算引擎，能够将数据并行大规模计算 Sp 阅读全文

posted @ 2017-12-21 17:29 liuxiaopang 阅读(347) 评论(0) 推荐(0)