摘要:
一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark 3.解压,文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习:英文文本的词频统计 1.准备文本文件 2.读文件,预处理:大小写,标点符号,停用词,分词,统计每个单词出现的次 阅读全文
摘要:
一、 Spark Core: Spark核心组件,它实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Datasets,简称RDD)的API 定义,RDD是只读的分区记录的 阅读全文