摘要：常出现的使用误区： 误区一：在driver上创建连接对象（比如网络连接或数据库连接） 如果在driver上创建连接对象，然后在RDD的算子函数内使用连接对象，那么就意味着需要将连接对象序列化后从driver传递到worker上。而连接对象（比如Connection对象）通常来说是不支持序列化的，此时 阅读全文

摘要：【本文为转载内容，原文载于知乎，感谢作者授权转载】 【欢迎访问原作者的博客neoremind.com，欢迎技术交流】 前言 Spark是一个快速的、通用的分布式计算系统，而分布式的特性就意味着，必然存在节点间的通信，本文主要介绍不同的Spark组件之间是如何通过RPC（Remote Procedur 阅读全文

摘要：一、源码下载 spark源码下载：http://spark.apache.org/downloads.html 下载各个历史版本的源码包在这里下载：https://archive.apache.org/dist/spark/ 我下载的是：spark-2.1.0.tgz 二、编译源码 1、编译环境：M 阅读全文