03 2022 档案

RDD操作
摘要：一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3.通过并行集合（列表）创建RDD输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 1.转换操作 1.fil 阅读全文
posted @ 2022-03-27 23:09 yikw 阅读(60) 评论(0) 推荐(0) 编辑
Spark设计与运行原理，基本操作
摘要：一、Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能 Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Res 阅读全文
posted @ 2022-03-15 19:29 yikw 阅读(67) 评论(0) 推荐(0) 编辑
安装Spark与Python练习
摘要：一、安装并配置Spark 1.检查基础环境 2.下载安装spark 3.配置相关文件 4.配置环境变量 5.配置完环境变量后启动spark 6.启动spark后进行测试 7.完成测试后输入exit（）退出 二、Python编程练习：英文文本的词频统计 1.准备文本 2.文件预处理 3.最后将单词的出 阅读全文
posted @ 2022-03-06 23:00 yikw 阅读(40) 评论(0) 推荐(0) 编辑