摘要： 数据抽象 sparkSQL 的数据抽象是 DataFrame，df 相当于表格，它的每一行是一条信息，形成了一个 Row Row 它是 sparkSQL 的一个抽象，用于表示一行数据，从表现形式上看，相当于一个 tuple 或者 表中的一行； from pyspark.sql import Row 阅读全文

摘要： sparkSession 读取 csv 1. 利用 sparkSession 作为 spark 切入点 2. 读取 单个 csv 和 多个 csv from pyspark.sql import SparkSession from pyspark.sql import SQLContext if _ 阅读全文

摘要： hadoop 是 java 开发的，原生支持 java；spark 是 scala 开发的，原生支持 scala； spark 还支持 java、python、R，本文只介绍 python spark 1.x 和 spark 2.x 用法略有不同，spark 1.x 的用法大部分也适用于 spark 阅读全文

摘要： aggregate aggregate 是比较常用的 行动 操作，不是很好懂，这里做个解释。 aggregate(zeroValue, seqOp, combOp) zeroValue 是一个初始值，自己根据实际情况进行设定； 首先我们知道 RDD 是被分区，然后并行操作的； seqOp 是对每个分 阅读全文

摘要： SparkContext SparkContext 是在 spark 库中定义的一个类，作为 spark 库的入口点； 它表示连接到 spark，在进行 spark 操作之前必须先创建一个 SparkContext 的实例，并且只能创建一个； 利用 SparkContext 实例创建的对象都是 RD 阅读全文

摘要： spark 支持 shell 操作 shell 主要用于调试，所以简单介绍用法即可 支持多种语言的 shell 包括 scala shell、python shell、R shell、SQL shell 等 spark-shell 用于在 scala 的 shell 模式下操作 spark pysp 阅读全文

摘要： RDD 介绍 spark 最重要的一个概念叫 RDD，Resilient Distributed Dataset，弹性分布式数据集，它是 spark 的最基本的数据（也是计算）抽象。 代码中是一个抽象类，它代表一个 不可变、可分区、里面的元素可并行计算的数据集合。 RDD 的属性 拥有一组分区：数据 阅读全文

摘要： 无法打开磁盘 虚拟机异常关机 - 正在使用中 阅读全文

摘要： 破解版安装 异常记录 1. 当打开多个窗口时，没有把窗口标题栏列出来，解决方法：按 ctrl + shift + t 阅读全文

摘要： 环境：centos6.5 centos6.5 自带的 python 版本是 2.6.6，需要重新安装 2.7； centos7 自带的 python 版本是 2.7.5 基本操作 在安装新版本之前，一定要先执行如下操作 yum install -y gcc make cmake zlib-devel 阅读全文