1月13日

今天复习了前两天学习的 Spark RDD 和 Spark SQL 知识，并开始准备大实验作业。早上回顾了 RDD 的各种操作和 Spark SQL 的基本用法，通过做一些练习题来巩固所学知识。下午仔细阅读了大实验作业的要求，对整个项目的功能设计和实现步骤有了初步的规划。决定先从数据采集模块开始，学习如何使用 Python 的爬虫库（如 Scrapy 或 BeautifulSoup）从网络中爬取信息领域的相关热词。