03 2022 档案

摘要:一、RDD的创建 1.1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动HDFS,上传文件 查看文件 加载 停止HDFS 二、RDD操作 转换操作 filter(func),显式定义函数,lambda函数;map(func),显式定义函数,lambda函数 行动操作,fo 阅读全文
posted @ 2022-03-29 15:26 Orlando_Chan 阅读(17) 评论(0) 推荐(0)
摘要:1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core:包含Spark的基本功能;尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL:提 阅读全文
posted @ 2022-03-15 21:14 Orlando_Chan 阅读(68) 评论(0) 推荐(0)
摘要:一、Spark的安装 1、安装结果 2、Spark的环境配置 3、运行 4、测试 二、Python练习 1、代码截图 2、运行结果 3、源码 import string file1 = open('C:/Users/Administrator/R201906120171/Chenzhikun/san 阅读全文
posted @ 2022-03-06 21:53 Orlando_Chan 阅读(35) 评论(0) 推荐(0)