摘要：1.shell 是什么 shell是指一种程序, 它是和linux沟通的桥梁, 这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务, Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。。我们通常说的 阅读全文

摘要：转载自: http://bigdataer.net/?p=569 1.背景 在使用spark开发分布式数据计算作业过程中或多或少会遇到如下的错误： 或者如下的错误： 表面意思都是无法序列化导致的。spark运行过程中为什么要序列化？下面来分析一下。 2.分析 spark处理的数据单元为RDD（即弹性 阅读全文