第五周

第五周进度总结报告
一、本周完成内容与时长统计
本周总学习时长 40 小时，理论学习 20 小时，代码实操 16 小时，问题排查耗时 4 小时。
工程技能：针对上一周数据分析项目做代码优化，删减冗余逻辑，简化循环写法，对比优化前后运行速度，总结简单的代码提速技巧，完善项目 README 文档，养成完整项目交付习惯。
Python：完成 “网页爬虫 - 数据清洗 - 可视化绘图” 综合小项目，用 matplotlib 绘制折线图、柱状图，直观展示统计结果，熟练整合 requests、pandas、matplotlib 库协同使用。
大数据：成功搭建 Hive 环境，熟练掌握 HQL 建表、查询、分组统计基础语法，能够使用 Hive 对模拟大数据表格做筛选聚合，理解数据仓库分层基础思想。
本周整合多库项目调试、Hive 数据类型匹配问题、绘图细节调整耗费 4 小时解决。
二、下周工作计划
Python：学习异常复杂爬虫、多线程基础，尝试多线程提升爬取效率；
工程技能：学习简单单元测试，给自己编写的函数做测试用例，保障代码稳定性；
大数据：入门 Spark 框架，了解 Scala 基础语法，学习 RDD 核心算子。
三、本周遇到的问题
多线程原理理解困难，不清楚线程安全问题，不知道合理控制并发数量；
Spark 全新 Scala 语法上手吃力，和 Python 语法混用容易写错；
Hive 分区、分桶概念理解模糊，不知道该如何优化海量数据查询速度。
后续放慢新知识速度，每天少量学习 Scala，结合案例理解分布式框架。