摘要：
学习成果：掌握了Python和Scala的基础与高级特性。深入理解了Spark生态体系的核心组件（Spark SQL、Streaming、MLlib、GraphX）。 未来学习计划：深入学习Spark的性能优化与调优技术。探索更多的机器学习算法，并在Spark MLlib中实践。学习大数据生态中的其 阅读全文
posted @ 2025-02-18 10:31
痛苦代码源
阅读(5)
评论(0)
推荐(0)
摘要：
- 编写了Python装饰器和生成器的示例代码。- 使用Scala实现了高阶函数和模式匹配的示例。 阅读全文
posted @ 2025-02-18 10:30
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
- Scala复习：- 高阶函数：复习了map、filter、reduce等高阶函数的使用。- 模式匹配：学习了模式匹配在Scala中的应用。- 隐式转换：复习了隐式转换的使用场景与注意事项。 阅读全文
posted @ 2025-02-18 10:30
痛苦代码源
阅读(3)
评论(0)
推荐(0)
摘要：
Python复习： - 装饰器：学习了如何用装饰器增强函数功能。 - 生成器：复习了生成器的使用场景与性能优势。 - 异常处理：复习了try-except-finally的使用。 阅读全文
posted @ 2025-02-18 10:29
痛苦代码源
阅读(3)
评论(0)
推荐(0)
摘要：
编写了Spark SQL、Streaming、MLlib、GraphX的示例代码。运行了复习代码，确保对Spark生态体系的掌握。 阅读全文
posted @ 2025-02-18 10:28
痛苦代码源
阅读(2)
评论(0)
推荐(0)
摘要：
Spark MLlib复习： - 常用算法（线性回归、逻辑回归、协同过滤） - 模型评估与调优 - Spark GraphX复习： - 图的构建与操作 - PageRank算法的实现 阅读全文
posted @ 2025-02-18 10:28
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
Spark核心概念复习：RDD、DataFrame、Dataset的区别与联系Spark的分布式计算原理*Spark SQL复习：DataFrame的创建与操作SQL查询与优化 阅读全文
posted @ 2025-02-18 10:27
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
系统集成测试用户反馈与改进 阅读全文
posted @ 2025-02-18 10:23
痛苦代码源
阅读(1)
评论(0)
推荐(0)
摘要：
模型评估与优化 阅读全文
posted @ 2025-02-18 10:23
痛苦代码源
阅读(7)
评论(0)
推荐(0)
摘要：
使用MLlib实现了一个简单的推荐算法，并进行了测试。 阅读全文
posted @ 2025-02-18 10:22
痛苦代码源
阅读(5)
评论(0)
推荐(0)
摘要：
数据可视化与报告生成系统性能优化使用Grafana进行了数据可视化，并优化了系统的性能。 阅读全文
posted @ 2025-02-18 10:21
痛苦代码源
阅读(3)
评论(0)
推荐(0)
摘要：
实时数据分析与报警机制数据存储与查询优化 阅读全文
posted @ 2025-02-18 10:21
痛苦代码源
阅读(12)
评论(0)
推荐(0)
摘要：
搭建Spark Streaming环境实时数据流的接入与处理 阅读全文
posted @ 2025-02-18 10:21
痛苦代码源
阅读(3)
评论(0)
推荐(0)
摘要：
基于Spark Streaming的实时日志分析系统 阅读全文
posted @ 2025-02-18 10:20
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
个人项目开发 - 使用Spark SQL进行数据探索 - 数据可视化使用Spark SQL分析了用户行为数据，并使用Matplotlib进行了数据可视化。 阅读全文
posted @ 2025-02-18 10:20
痛苦代码源
阅读(6)
评论(0)
推荐(0)
摘要：
个人项目规划 - 确定项目主题：基于Spark的电商用户行为分析 - 数据收集与预处理收集了电商用户行为数据，并进行了初步的数据清洗。 阅读全文
posted @ 2025-02-18 10:19
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
Spark GraphX - 图计算的基本概念 - GraphX中的图操作使用GraphX构建了一个简单的社交网络图，并进行了基本的图分析。 阅读全文
posted @ 2025-02-18 10:19
痛苦代码源
阅读(13)
评论(0)
推荐(0)
摘要：
Spark MLlib - 机器学习基础概念 - MLlib中的分类与回归算法使用MLlib实现了一个简单的线性回归模型。 阅读全文
posted @ 2025-02-18 10:19
痛苦代码源
阅读(10)
评论(0)
推荐(0)
摘要：
Spark SQLDataFrame与Dataset的介绍SQL查询与DataFrame操作使用Spark SQL查询了一个CSV文件，并进行了简单的数据分析。 阅读全文
posted @ 2025-02-18 10:13
痛苦代码源
阅读(4)
评论(0)
推荐(0)
摘要：
Spark Streaming流处理的基本概念DStream的创建与操作使用Spark Streaming处理了一个简单的实时数据流。 阅读全文
posted @ 2025-02-18 10:13
痛苦代码源
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号