5.12

通过本次 Python 数据处理综合训练，我系统掌握了 Python 在网络爬虫、数据分析、科学计算和数据可视化四大核心领域的基础应用能力，完成了从数据获取、清洗、分析到可视化展示的完整数据处理流程。四个实验项目层层递进，让我对 Python 数据处理生态有了全面的认识，也在解决实际问题的过程中积累了宝贵的编程经验。
一、实验核心收获

1. 网络爬虫：从理论到实战，理解反爬机制
   在 "中国大学排名数据分析与可视化" 和 "豆瓣图书评论数据分析" 实验中，我深入学习了requests和BeautifulSoup库的使用，掌握了网页请求、HTML 解析、数据提取的基本流程。最深刻的体会是反爬机制是爬虫实战的核心挑战：
   最初的爬虫代码仅添加了基础的 User-Agent，在 2025 年豆瓣严格的反爬策略下完全失效，出现 403 错误和空白页面
   通过学习了解到现在豆瓣需要登录 Cookie 才能访问评论数据，并且 Cookie 与 IP、设备强绑定，有效期极短
   为了保证作业可运行，设计了 "真实爬取 + 本地演示" 双模式，既保留了爬虫的核心逻辑，又解决了反爬导致的程序崩溃问题
   同时，我也学会了爬虫的基本规范：添加请求延时、模拟真实浏览器请求头、异常处理机制，这些都是保证爬虫稳定运行的关键。
2. 数据分析：掌握文本处理与统计分析方法
   在豆瓣图书评论分析实验中，我接触到了自然语言处理的基础应用：
   使用jieba库进行中文分词，解决了中文文本无天然分隔符的问题
   构建停用词表过滤无意义词语，大幅提升了词频统计和词云生成的质量
   使用collections.Counter进行词频统计，快速得到评论中的高频关键词
   实现了按点赞数排序的功能，学会了对字典列表进行自定义排序的方法
   这些技能让我明白，数据分析的核心是从杂乱无章的数据中提取有价值的信息，而数据清洗和预处理往往占据了整个流程 70% 以上的工作量。
3. 科学计算与可视化：让数据说话
   在两个函数图形绘制实验中，我熟练掌握了numpy和matplotlib库的使用：
   使用numpy.linspace生成高精度的采样点，保证了函数曲线的平滑性
   学会了在同一坐标系下绘制多条曲线，使用不同颜色和线型进行区分
   掌握了子图绘制、区域填充、坐标轴比例设置等高级可视化技巧
   彻底解决了 matplotlib 中文显示乱码的问题，通过自动检测系统字体实现了跨平台兼容
   特别是分段函数心形曲线的绘制，让我理解了数学公式与计算机图形的对应关系，也体会到了 Python 在科学计算领域的强大能力。