2025 年 2月 8 日随笔档案 - Mini-Q

摘要：学习了Spark中的两大操作——Action和Transformation，掌握了如何通过这些操作对数据进行处理，了解了懒计算的概念，并通过案例理解两者的区别。阅读全文

posted @ 2025-02-08 19:09 Mini-Q 阅读(8) 评论(0) 推荐(0)

摘要：今天学习了Spark Streaming的基本概念，并实践了如何使用Spark Streaming处理实时数据流。了解了如何从Kafka等数据源获取数据，并进行实时分析。阅读全文

posted @ 2025-02-08 19:09 Mini-Q 阅读(7) 评论(0) 推荐(0)

摘要：今天学习了如何将外部数据（如CSV、JSON、Parquet等格式的数据）加载到Spark中进行处理，并学习了如何将结果保存回文件系统。阅读全文

posted @ 2025-02-08 19:08 Mini-Q 阅读(35) 评论(0) 推荐(0)

摘要：深入理解了Spark如何通过分布式计算来处理大数据，了解了集群的工作原理以及如何在多个节点上进行计算任务的调度和分发。阅读全文

posted @ 2025-02-08 19:08 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：今天学习了Spark中的核心概念——RDD（弹性分布式数据集），掌握了RDD的创建、转换和行动操作。通过示例代码，了解了如何使用RDD来处理数据。阅读全文

posted @ 2025-02-08 19:07 Mini-Q 阅读(6) 评论(0) 推荐(0)

摘要：学习了Spark中的DataFrame概念，并掌握了如何使用SQL风格的查询语句对数据进行处理。了解了DataFrame与RDD的区别，以及如何进行基本的筛选、聚合等操作。阅读全文

posted @ 2025-02-08 19:07 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：学习了Spark的基本概念、历史背景及其用途，了解了Spark如何在大数据处理方面的优势。成功安装了Spark，并学会了如何启动和配置Spark环境。阅读全文

posted @ 2025-02-08 19:05 Mini-Q 阅读(7) 评论(0) 推荐(0)

Mini-Q