摘要：一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 （一）转换操作 1、filter(func) 显式定义函数 l 阅读全文

摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark Core包含Spark最基础和最核心的功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等，主要面向批数据处理。 Spark SQL：Spark 阅读全文

摘要：一、安装Spark 1、检查基础环境hadoop,jdk 2、下载spark 3、解压，文件夹重命名、权限 4、配置文件 5、环境变量 6、试运行Python代码 二、Python编程练习：英文文本的词频统计 1、准备文本文件 2.统计每个单词出现的次数 阅读全文

摘要：1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 (1）HDFS（分布式文件系统）HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上 阅读全文