Mini-Q

摘要：今天学习了如何将外部数据（如CSV、JSON、Parquet等格式的数据）加载到Spark中进行处理，并学习了如何将结果保存回文件系统。阅读全文

posted @ 2025-02-08 19:08 Mini-Q 阅读(35) 评论(0) 推荐(0)

摘要：深入理解了Spark如何通过分布式计算来处理大数据，了解了集群的工作原理以及如何在多个节点上进行计算任务的调度和分发。阅读全文

posted @ 2025-02-08 19:08 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：今天学习了Spark中的核心概念——RDD（弹性分布式数据集），掌握了RDD的创建、转换和行动操作。通过示例代码，了解了如何使用RDD来处理数据。阅读全文

posted @ 2025-02-08 19:07 Mini-Q 阅读(6) 评论(0) 推荐(0)

摘要：学习了Spark中的DataFrame概念，并掌握了如何使用SQL风格的查询语句对数据进行处理。了解了DataFrame与RDD的区别，以及如何进行基本的筛选、聚合等操作。阅读全文

posted @ 2025-02-08 19:07 Mini-Q 阅读(5) 评论(0) 推荐(0)

摘要：学习了Spark的基本概念、历史背景及其用途，了解了Spark如何在大数据处理方面的优势。成功安装了Spark，并学会了如何启动和配置Spark环境。阅读全文

posted @ 2025-02-08 19:05 Mini-Q 阅读(7) 评论(0) 推荐(0)

摘要：今天深入学习了列表解析和生成器的概念，理解了如何通过简洁的语法创建和操作列表、字典等数据结构，并掌握了生成器的使用方法，提高了代码的效率。阅读全文

posted @ 2025-02-07 11:50 Mini-Q 阅读(4) 评论(0) 推荐(0)

摘要：学习了Python的异常处理机制，掌握了try-except语句的使用方法，了解了如何捕获异常并处理，确保程序不会因错误而中断。做了一些练习题来加深理解。阅读全文

posted @ 2025-02-07 11:49 Mini-Q 阅读(31) 评论(0) 推荐(0)

摘要：今天学习了Python的文件读写操作，包括文本文件和二进制文件的处理。掌握了使用open函数打开文件，读取和写入文件内容，了解了文件的关闭和异常处理。阅读全文

posted @ 2025-02-07 11:49 Mini-Q 阅读(9) 评论(0) 推荐(0)

摘要：学习了Python常用的标准库，如os、sys、math、random等，掌握了如何在实际项目中应用这些库来简化工作流程。阅读全文

posted @ 2025-02-07 11:49 Mini-Q 阅读(8) 评论(0) 推荐(0)

摘要：学习了如何组织Python代码，掌握了模块和包的概念，了解了如何导入模块、使用标准库中的模块，以及如何自定义模块。在学习过程中，实践了创建和使用自定义模块的例子。阅读全文

posted @ 2025-01-13 23:56 Mini-Q 阅读(9) 评论(0) 推荐(0)