摘要：
spark编程模型 spark如何工作的？ 1、user应用产生RDD，操作变形，运行action操作 2、操作的结果在有向无环图DAG中 3、DAG被编译到stages阶段中 4、每一阶段作为任务的一部分被执行（一个task对应一个partition分块） narrow transformatio 阅读全文
posted @ 2019-11-16 14:52
x7b5g
阅读(118)
评论(0)
推荐(0)
摘要：
mapreduce的限制 适合“一趟”计算操作 很难组合和嵌套操作符号 无法表示迭代操作 由于复制、序列化和磁盘IO导致mapreduce慢 复杂的应用、流计算、内部查询都因为maprecude缺少有效的数据共享而变慢 迭代操作每一次复制都需要磁盘IO 内部查询和在线处理都需要磁盘IO spark的 阅读全文
posted @ 2019-11-16 14:30
x7b5g
阅读(115)
评论(0)
推荐(0)
浙公网安备 33010602011771号