摘要：1.从本地文件系统中加载数据创建RDD 输入spark-shell 进入spark-shell环境 2.从HDFS加载数据创建RDD 启动hdfs 输入 start-all.sh 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二 阅读全文

摘要：一.请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark Core Spark Core是整个Spark生态系统的核心组件，是一种大数据分布式处理框架，实现了MapReduce同时还提供了filter、join、groupByKey等更丰富的算子。 2. Mesos、Yarn 资源 阅读全文

摘要：1.环境测试 spark版本 Python环境 2.在pyspark中测试代码 测试代码:print('打印一个spark') 输出: 打印一个spark 词频统计： 查看代码 import os import re path='/home/hadoop/wc/spark_test.txt' wit 阅读全文