摘要：一.RDD操作 1.从本地文件系统中加载数据创建RDD lines=sc.textFile("file:///文件路径").foreach(print) 2.从HDFS加载数据创建RDD 启动HDFS start-all.sh 查看HDFS文件 hdfs dfs -ls 查看的文件目录 上传文件到H 阅读全文

摘要：老师：MissDu 提交作业 一.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和red 阅读全文

摘要：检查基础环境hadoop,jdk 解压，文件夹重命名、权限 更改配置文件 更改环境变量 gedit ~/.bashrc export SPARK_HOME=/usr/local/spark export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python 阅读全文