摘要：一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、numpy生成数组 二、 RDD操作 转换操作 1.filter(func) lambda函数 显式 阅读全文

摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark大数据计算平台包含许多子模块，构成了整个Spark的生态系统，其中Spark为核心。伯克利将整个Spark的生态系统称为伯克利数据分析栈（BDAS），其结构如图1-1所示。 阅读全文

摘要：一、安装spark 1.查看jdk安装路径 echo $JAVA_HOME 2.查看java版本 java -version 3.启动spark的环境准备 start-dfs.sh jps 4.启动spark pyspark 5.简单测试 print("spark") 8*2+5 exit() 二、 阅读全文