2022 年 3月随笔档案 - Luirc

4.RDD操作

摘要：一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件查看文件停止hdfs 3.通过并行集合（列表）创建RDD 输入列表字符串 numpy生成数组二、 RDD操作转换操作 1.转换操作 1.filter(func) 显式定义函数阅读全文

posted @ 2022-03-30 13:01 Luirc 阅读(25) 评论(0) 推荐(0)

3.Spark设计与运行原理，基本操作

摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统图：各组件的功能： Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark C 阅读全文

posted @ 2022-03-15 17:35 Luirc 阅读(38) 评论(0) 推荐(0)

安装Spark与Python练习

摘要：一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark 3.解压，文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代码二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.读文件，预处理：大小写，标点符号，停用词，分词，统计每个单词出现的次阅读全文

posted @ 2022-03-08 16:50 Luirc 阅读(17) 评论(0) 推荐(0)

导航

03 2022 档案