Mini-Q

摘要：进行了一次基于Spark的大数据处理案例实践，结合所学的知识，完成了一个从数据加载、处理到存储的完整流程。阅读全文

posted @ 2025-02-14 09:55 Mini-Q 阅读(8) 评论(0) 推荐(0)

摘要：最后，结合Python和Spark的知识，完成了一个小型的数据分析项目。通过该项目，将所学的理论知识应用到实际问题中，进一步巩固了对Python和Spark的掌握。阅读全文

posted @ 2025-02-14 09:55 Mini-Q 阅读(6) 评论(0) 推荐(0)

摘要：今天学习了Spark中常见的错误类型和调试技巧，掌握了如何通过日志分析和其他调试工具来排查和解决Spark作业中的问题。阅读全文

posted @ 2025-02-14 09:54 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：学习了Spark与Hadoop的集成，掌握了如何在Hadoop集群中运行Spark作业，并了解了两者的协同工作方式。阅读全文

posted @ 2025-02-12 22:54 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：学习了PySpark，了解了如何使用Python API进行Spark操作，掌握了PySpark的基本使用方法，以及如何在Python中进行Spark编程。阅读全文

posted @ 2025-02-12 22:54 Mini-Q 阅读(4) 评论(0) 推荐(0)

摘要：学习了Spark MLlib的基础知识，了解了机器学习的基本概念和如何使用Spark MLlib进行数据预处理、模型训练和评估。阅读全文

posted @ 2025-02-12 22:53 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：学习了Spark的GraphX库，掌握了如何进行图数据的处理与分析。了解了图的基本概念，以及如何使用GraphX进行图计算和图遍历。阅读全文

posted @ 2025-02-12 22:53 Mini-Q 阅读(7) 评论(0) 推荐(0)

摘要：今天学习了Spark的性能优化技巧，了解了如何通过调整配置参数、选择合适的操作类型等手段，提高Spark任务的执行效率。阅读全文

posted @ 2025-02-12 22:53 Mini-Q 阅读(10) 评论(0) 推荐(0)

摘要：学习了Spark中的两大操作——Action和Transformation，掌握了如何通过这些操作对数据进行处理，了解了懒计算的概念，并通过案例理解两者的区别。阅读全文

posted @ 2025-02-08 19:09 Mini-Q 阅读(8) 评论(0) 推荐(0)

摘要：今天学习了Spark Streaming的基本概念，并实践了如何使用Spark Streaming处理实时数据流。了解了如何从Kafka等数据源获取数据，并进行实时分析。阅读全文

posted @ 2025-02-08 19:09 Mini-Q 阅读(7) 评论(0) 推荐(0)