摘要：
local模式 概述 local模式就是在一台计算机上运行spark程序，通常用于在本机上练手和测试，它将线程映射为worker。 1）local: 所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式; 2）local[K]: 指定使用几个线程来运 阅读全文
posted @ 2020-02-25 21:43
盛夏群岛
阅读(772)
评论(0)
推荐(0)
摘要：
减少代码重复 所有的函数都被分割成通用部分，它们在每次函数调用中都相同，以及非通用部分，在不同的函 数调用中可能会变化。通用部分是函数体，而非通用部分必须由参数提供。当你把函数值用做参数时，算法的非通用部分就是它代表的某些其它算法。在这种函数的每一次调用中，你都可以把不同的函数值作为参数传入，于是被 阅读全文
posted @ 2020-02-25 21:03
盛夏群岛
阅读(334)
评论(0)
推荐(0)
摘要：
spark为什么比mapreduce快 mapreduce的数据处理过程是：把数据从磁盘读到内存，在内存中完成计算，再写回磁盘。下一个mr程序要继续对这批数据进行处理，又要重复这一过程。有多少个mr程序，就有多少次读磁盘和写磁盘的过程，效率低下。 spark的数据处理过程是：把数据读到内存之后，在多 阅读全文
posted @ 2020-02-25 12:10
盛夏群岛
阅读(680)
评论(0)
推荐(0)
浙公网安备 33010602011771号