摘要: 10 阅读全文
posted @ 2026-02-02 22:04 ytr123 阅读(0) 评论(0) 推荐(0)
摘要: 10 阅读全文
posted @ 2026-01-30 19:56 ytr123 阅读(4) 评论(0) 推荐(0)
摘要: 5 阅读全文
posted @ 2026-01-29 17:23 ytr123 阅读(4) 评论(0) 推荐(0)
摘要: 8 阅读全文
posted @ 2026-01-24 23:11 ytr123 阅读(4) 评论(0) 推荐(0)
摘要: 7 阅读全文
posted @ 2026-01-22 20:50 ytr123 阅读(5) 评论(0) 推荐(0)
摘要: 6 阅读全文
posted @ 2026-01-21 18:43 ytr123 阅读(3) 评论(0) 推荐(0)
摘要: Spark SQL 编程初体验:从 JSON 到 MySQL 的完整数据处理流程 前言 在大数据时代,Spark 作为主流的数据处理框架,其 Spark SQL 模块提供了强大的结构化数据处理能力。今天,我将通过厦门大学林子雨老师的《Spark编程基础》实验5,带大家体验一次完整的 Spark SQ 阅读全文
posted @ 2026-01-20 15:35 ytr123 阅读(2) 评论(0) 推荐(0)
摘要: RDD编程入门 一、引言:为什么要学RDD? 在大数据处理领域,Spark已成为事实上的标准计算框架。而弹性分布式数据集(RDD) 作为Spark最核心的数据抽象,是每个Spark开发者必须掌握的基础。通过本次实验,我将带你从零开始,通过三个经典案例,全面掌握RDD编程的核心操作。 二、实验环境搭建 阅读全文
posted @ 2026-01-19 17:46 ytr123 阅读(2) 评论(0) 推荐(0)
摘要: Spark与Hadoop的安装与初体验 一、Hadoop和Spark安装 1.1 Hadoop伪分布式安装 按照官方教程,主要配置以下几个文件: xml fs.defaultFS hdfs://node01:9000 dfs.replication 1 安装完成后,执行格式化并启动: bash hd 阅读全文
posted @ 2026-01-17 20:36 ytr123 阅读(3) 评论(0) 推荐(0)
摘要: Scala编程实践学习总结 经过一天的密集学习与实践,我成功完成了《Spark编程基础》实验2的三个Scala编程任务。这次实验让我对Scala语言有了从理论到实践的全面认识,以下是我的学习总结: 一、环境配置:从零开始搭建 实验开始时,我面临的首要挑战是Scala环境配置。教材中提到的“已配置完成 阅读全文
posted @ 2026-01-16 17:21 ytr123 阅读(2) 评论(0) 推荐(0)