2025年1月10日
20240110打卡——实验 4：RDD 编程初级实践
摘要： 做了什么：编写 RDD 相关代码（创建 RDD、转换操作 map、filter、reduceByKey）。 学到什么：理解 RDD 的惰性计算、窄依赖与宽依赖。 遇到的问题：RDD collect() 时数据过大导致 OOM，调试时 log 过多导致信息混乱。 阅读全文
posted @ 2025-01-10 15:22 丰川扬子 阅读(7) 评论(0) 推荐(0)
20240109打卡——实验 3：Spark 和 Hadoop 的安装
摘要： 做了什么：安装 Hadoop 伪分布式模式，配置 Spark 环境，编写简单的 Spark 任务。 学到什么：理解 Hadoop 分布式存储与计算原理，掌握 Spark 本地环境搭建。 遇到的问题：Hadoop 配置 core-site.xml、hdfs-site.xml 容易出错，JDK 版本兼容 阅读全文
posted @ 2025-01-10 15:19 丰川扬子 阅读(10) 评论(0) 推荐(0)
20240108打卡——实验 2：Scala 编程初级实践
摘要： 做了什么：安装 Scala，学习基本语法（变量、函数、集合操作、模式匹配）。 学到什么：熟悉 Scala 语法和 REPL 交互式编程。 遇到的问题：Scala 的 val 和 var 变量区别，函数式编程 vs 命令式编程的思维转换。 阅读全文
posted @ 2025-01-10 15:17 丰川扬子 阅读(5) 评论(0) 推荐(0)
20240107打卡——实验 1：Linux 系统的安装和常用命令
摘要： 做了什么：安装 Linux（Ubuntu/CentOS），配置 SSH，学习基本命令（ls、cd、cp、mv、vim、grep 等） 学到什么：掌握 Linux 基本环境操作，为后续 Spark 实验打基础 遇到的问题：无 阅读全文
posted @ 2025-01-10 15:15 丰川扬子 阅读(6) 评论(0) 推荐(0)