2024年1月23日

假期学习记录11

摘要：本次学习学习了常用键值对rdd的操作常用的键值对RDD转换操作 reduceByKey(func) reduceByKey(func)的功能是，使用func函数合并具有相同键的值 (Hadoop,1)(Spark,1)(Hive,1)(Spark,1) scala> pairRDD.reduceB 阅读全文

posted @ 2024-01-23 19:36 实名吓我一跳阅读(16) 评论(0) 推荐(0)

假期学习记录10

摘要：本次学习学习了RDD的编程概述 RDD创建 1、从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址或者是分布式文件系统HDFS的地址或者是Amazon S3的地址等等本地进行加载阅读全文

posted @ 2024-01-23 19:31 实名吓我一跳阅读(14) 评论(0) 推荐(0)

导航

2024年1月23日