02 2025 档案

构建漫谈读后感
摘要：《架构漫谈》系列文章读后感 在阅读《架构漫谈》系列文章的过程中，我仿佛经历了一场关于架构、技术、业务以及软件开发的深度思考之旅。作者王概凯（Kevin）以丰富的架构经验为基础，从架构的本质出发，逐步深入探讨了架构师的角色、架构与技术的关系、软件的本质以及如何写好代码等多个方面。这些内容不仅让我对架构 阅读全文
posted @ 2025-02-26 13:13 痛苦代码源 阅读(4) 评论(0) 推荐(0)
寒假学习进度总结
摘要：学习成果：掌握了Python和Scala的基础与高级特性。深入理解了Spark生态体系的核心组件（Spark SQL、Streaming、MLlib、GraphX）。 未来学习计划：深入学习Spark的性能优化与调优技术。探索更多的机器学习算法，并在Spark MLlib中实践。学习大数据生态中的其 阅读全文
posted @ 2025-02-18 10:31 痛苦代码源 阅读(7) 评论(0) 推荐(0)
寒假学习进度25
摘要：- 编写了Python装饰器和生成器的示例代码。- 使用Scala实现了高阶函数和模式匹配的示例。 阅读全文
posted @ 2025-02-18 10:30 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度24
摘要：- Scala复习：- 高阶函数：复习了map、filter、reduce等高阶函数的使用。- 模式匹配：学习了模式匹配在Scala中的应用。- 隐式转换：复习了隐式转换的使用场景与注意事项。 阅读全文
posted @ 2025-02-18 10:30 痛苦代码源 阅读(4) 评论(0) 推荐(0)
寒假学习进度23
摘要：Python复习： - 装饰器：学习了如何用装饰器增强函数功能。 - 生成器：复习了生成器的使用场景与性能优势。 - 异常处理：复习了try-except-finally的使用。 阅读全文
posted @ 2025-02-18 10:29 痛苦代码源 阅读(5) 评论(0) 推荐(0)
寒假学习进度22
摘要：编写了Spark SQL、Streaming、MLlib、GraphX的示例代码。运行了复习代码，确保对Spark生态体系的掌握。 阅读全文
posted @ 2025-02-18 10:28 痛苦代码源 阅读(5) 评论(0) 推荐(0)
寒假学习进度21
摘要：Spark MLlib复习： - 常用算法（线性回归、逻辑回归、协同过滤） - 模型评估与调优 - Spark GraphX复习： - 图的构建与操作 - PageRank算法的实现 阅读全文
posted @ 2025-02-18 10:28 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度20
摘要：Spark核心概念复习：RDD、DataFrame、Dataset的区别与联系Spark的分布式计算原理*Spark SQL复习：DataFrame的创建与操作SQL查询与优化 阅读全文
posted @ 2025-02-18 10:27 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度19
摘要：系统集成测试用户反馈与改进 阅读全文
posted @ 2025-02-18 10:23 痛苦代码源 阅读(1) 评论(0) 推荐(0)
寒假学习进度18
摘要：模型评估与优化 阅读全文
posted @ 2025-02-18 10:23 痛苦代码源 阅读(9) 评论(0) 推荐(0)
寒假学习进度17
摘要：使用MLlib实现了一个简单的推荐算法，并进行了测试。 阅读全文
posted @ 2025-02-18 10:22 痛苦代码源 阅读(7) 评论(0) 推荐(0)
寒假学习进度16
摘要：数据可视化与报告生成系统性能优化使用Grafana进行了数据可视化，并优化了系统的性能。 阅读全文
posted @ 2025-02-18 10:21 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度15
摘要：实时数据分析与报警机制数据存储与查询优化 阅读全文
posted @ 2025-02-18 10:21 痛苦代码源 阅读(13) 评论(0) 推荐(0)
寒假学习进度14
摘要：搭建Spark Streaming环境实时数据流的接入与处理 阅读全文
posted @ 2025-02-18 10:21 痛苦代码源 阅读(5) 评论(0) 推荐(0)
寒假学习进度13
摘要：基于Spark Streaming的实时日志分析系统 阅读全文
posted @ 2025-02-18 10:20 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度12
摘要：个人项目开发 - 使用Spark SQL进行数据探索 - 数据可视化使用Spark SQL分析了用户行为数据，并使用Matplotlib进行了数据可视化。 阅读全文
posted @ 2025-02-18 10:20 痛苦代码源 阅读(8) 评论(0) 推荐(0)
寒假学习进度11
摘要：个人项目规划 - 确定项目主题：基于Spark的电商用户行为分析 - 数据收集与预处理收集了电商用户行为数据，并进行了初步的数据清洗。 阅读全文
posted @ 2025-02-18 10:19 痛苦代码源 阅读(5) 评论(0) 推荐(0)
寒假学习进度10
摘要：Spark GraphX - 图计算的基本概念 - GraphX中的图操作使用GraphX构建了一个简单的社交网络图，并进行了基本的图分析。 阅读全文
posted @ 2025-02-18 10:19 痛苦代码源 阅读(15) 评论(0) 推荐(0)
寒假学习进度09
摘要：Spark MLlib - 机器学习基础概念 - MLlib中的分类与回归算法使用MLlib实现了一个简单的线性回归模型。 阅读全文
posted @ 2025-02-18 10:19 痛苦代码源 阅读(10) 评论(0) 推荐(0)
寒假学习进度08
摘要：Spark Streaming流处理的基本概念DStream的创建与操作使用Spark Streaming处理了一个简单的实时数据流。 阅读全文
posted @ 2025-02-18 10:13 痛苦代码源 阅读(11) 评论(0) 推荐(0)
寒假学习进度07
摘要：Spark SQLDataFrame与Dataset的介绍SQL查询与DataFrame操作使用Spark SQL查询了一个CSV文件，并进行了简单的数据分析。 阅读全文
posted @ 2025-02-18 10:13 痛苦代码源 阅读(6) 评论(0) 推荐(0)
寒假学习进度06
摘要：实现单词统计程序 阅读全文
posted @ 2025-02-18 10:09 痛苦代码源 阅读(3) 评论(0) 推荐(0)
寒假学习进度05
摘要：函数式编程特性集合操作/模式匹配 阅读全文
posted @ 2025-02-18 10:08 痛苦代码源 阅读(3) 评论(0) 推荐(0)