摘要：
做了什么：搭建 Spark Streaming 任务，处理 Kafka 数据流。 学到什么：掌握 DStream，理解窗口操作、checkpoint 机制。 遇到的问题：Kafka 连接 Spark 时 offset 处理问题，数据积压导致延迟。 阅读全文
posted @ 2025-01-12 16:42
丰川扬子
阅读(156)
评论(0)
推荐(0)
摘要：
做了什么：使用 DataFrame 和 Spark SQL 进行数据查询、Schema 定义。 学到什么：掌握 Spark SQL 和 RDD 的区别，学会使用 DataFrame API 处理结构化数据。 遇到的问题：Hive 连接 Spark 时 hive-site.xml 配置问题，DataF 阅读全文
posted @ 2025-01-11 18:30
丰川扬子
阅读(13)
评论(0)
推荐(0)
摘要：
做了什么：编写 RDD 相关代码（创建 RDD、转换操作 map、filter、reduceByKey）。 学到什么：理解 RDD 的惰性计算、窄依赖与宽依赖。 遇到的问题：RDD collect() 时数据过大导致 OOM，调试时 log 过多导致信息混乱。 阅读全文
posted @ 2025-01-10 15:22
丰川扬子
阅读(7)
评论(0)
推荐(0)
摘要：
做了什么：安装 Hadoop 伪分布式模式，配置 Spark 环境，编写简单的 Spark 任务。 学到什么：理解 Hadoop 分布式存储与计算原理，掌握 Spark 本地环境搭建。 遇到的问题：Hadoop 配置 core-site.xml、hdfs-site.xml 容易出错，JDK 版本兼容 阅读全文
posted @ 2025-01-10 15:19
丰川扬子
阅读(11)
评论(0)
推荐(0)
摘要：
做了什么：安装 Scala，学习基本语法（变量、函数、集合操作、模式匹配）。 学到什么：熟悉 Scala 语法和 REPL 交互式编程。 遇到的问题：Scala 的 val 和 var 变量区别，函数式编程 vs 命令式编程的思维转换。 阅读全文
posted @ 2025-01-10 15:17
丰川扬子
阅读(5)
评论(0)
推荐(0)
摘要：
做了什么：安装 Linux（Ubuntu/CentOS），配置 SSH，学习基本命令（ls、cd、cp、mv、vim、grep 等） 学到什么：掌握 Linux 基本环境操作，为后续 Spark 实验打基础 遇到的问题：无 阅读全文
posted @ 2025-01-10 15:15
丰川扬子
阅读(7)
评论(0)
推荐(0)
摘要：
圣诞快乐 目前就剩下机器学习实验报告和习思想复习考试了，好好准备 阅读全文
posted @ 2024-12-25 22:19
丰川扬子
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号