摘要：一、词频统计 A. 分步骤实现 1、准备文件 下载小说或长篇新闻稿 上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,stopwords.txt,filter()， 长度小于2 阅读全文

摘要：一、 RDD创建 1、从本地文件系统中加载数据创建RDD （1）创建SparkContext： （2）从本地文件系统中加载数据创建RDD： （3）对比原文件： 2、从HDFS加载数据创建RDD （1）启动hdfs： （2）上传文件： （3）查看文件： （4）加载： （5）停止hdfs： 3、通过并行 阅读全文

摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core： Spark Core 是整个BDAS 生态系统的核心组件，是一个分布式大数据处理框架。Spark Core提供了多种资源调度管理，通过内存计算、有向无环图（DA 阅读全文

摘要：一、安装Spark 1、检查基础环境hadoop,jdk echo $JAVA_HOME java -version start-dfs.sh jps hadoop version 2、配置文件 cp ./conf/spark-env.sh.template ./conf/spark-env.sh 阅读全文