Spark Core :RDD与Spark流水线编程模型
摘要:学会使用Spark中创建RDD的两种方法 结合本文内容解释“不可变性” 能将Spark程序翻译成“变换”和“行为”的流水线 列出创建一个Spark程序的步骤 Driver Program 是Spark程序的起点,它把RDD分发到集群并保证RDD的转化和动作的执行。Driver Program 中包含
阅读全文
本地文件系统命令
摘要:浏览文件系统 ls 列出目录中的内容 cd 更改当前目录 pwd 查看当前工作空间在哪个目录 du 查看目录中内容占用了多少存储空间 df 查看文件系统的空间占用与剩余 管理文件系统 mkdir 创建目录 cp 拷贝文件或目录 mv 移动文件或目录 rm 删除或重命名文件或目录 touch 创建文件
阅读全文