03 2022 档案

4.RDD操作
摘要：一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 若没有装numpy库，需先执行以下命令再继续操作 sudo apt instal 阅读全文
posted @ 2022-03-21 23:33 苏广龙201906120111 阅读(24) 评论(0) 推荐(0)
3.Spark设计与运行原理，基本操作
摘要：1、图文阐述Spark生态系统的组成及各组件的功能。 1.1、Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Dataset 阅读全文
posted @ 2022-03-14 20:06 苏广龙201906120111 阅读(23) 评论(0) 推荐(0)
2.安装Spark与Python练习
摘要：1.检查基础环境hadoop,jdk 2.下载spark3.解压，文件夹重命名、权限4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.代码 3.结果处理 阅读全文
posted @ 2022-03-08 14:03 苏广龙201906120111 阅读(19) 评论(0) 推荐(0)