03 2022 档案

RDD操作
摘要：一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 1.转换操作 1.filter(func) 显式定义函数 阅读全文
posted @ 2022-03-27 21:13 Eudemonia⁰ 阅读(162) 评论(0) 推荐(0)
3.Spark设计与运行原理，基本操作
摘要：1、图文阐述Spark生态系统的组成及各组件的功能。 1.1、Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Dataset 阅读全文
posted @ 2022-03-13 21:58 Eudemonia⁰ 阅读(37) 评论(0) 推荐(0)
安装Spark与Python代码练习
摘要：1、检查基础环境hadoop,jdk 2、下载spark（省略，原来已下好Spark） 3、解压，文件夹重命名、权限（省略，原来已下好Spark） 4、配置文件 5、环境变量 6、试运行Python代码 二、Python编程练习：英文文本的词频统计 1、准备文本文件 2、读文件 path='/hom 阅读全文
posted @ 2022-03-06 22:21 Eudemonia⁰ 阅读(45) 评论(0) 推荐(0)