2024年1月20日
RDD编程基础知识
摘要： 一、RDD编程基础1、RDD创建 Spark采用textFile()方法从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是本地文件系统的地址、分布式文件系统HDFS的地址或者是AmazonS3地址等。 （1）从文件系统中加载数据 （2）从分布式文件系统HDFS中加载数据 阅读全文
posted @ 2024-01-20 23:15 伽澄 阅读(179) 评论(0) 推荐(0)
spark基础编程四——RDD 编程初级实践
摘要： 今天进行spark基础编程四——RDD 编程初级实践 一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-sh 阅读全文
posted @ 2024-01-20 11:31 伽澄 阅读(503) 评论(0) 推荐(0)