第七周

第七周进度总结报告
一、本周完成内容与时长统计
本周总学习时长 43 小时，理论学习 22 小时，代码实操 17 小时，问题排查耗时 4 小时。
工程技能：学习 Linux 后台进程部署，将 Python 爬虫脚本部署到虚拟机常驻运行，学会日志持久化记录程序运行状态，学习简单程序监控方法，完整实现脚本远程稳定运行。
Python：掌握协程基础 asyncio 用法，对比多线程、协程适用场景，优化爬虫项目，将爬取数据存入本地 csv 文件实现持久化存储，项目完整性大幅提升。
大数据：熟练运用 Spark 各类常用 RDD 算子，入门 Spark SQL，能够使用 Spark SQL 完成表格查询、聚合统计，对比 Hive 理解内存计算的高效性，完成简易离线统计案例。
本周脚本部署异常、协程逻辑调试、Spark SQL 语法适配一共花费 4 小时解决。
二、下周工作计划
Python：复盘整个暑期 Python 知识点，查漏补缺，整理全套笔记，优化最终综合项目；
工程技能：汇总暑期所有代码，分类归档，梳理完整学习路线，总结工程实操经验；
大数据：整合 Hadoop-Hive-Spark 技术栈，搭建完整离线大数据计算小案例，复盘框架知识点。
三、本周遇到的问题
虚拟机后台程序容易意外终止，进程守护设置不够稳定；
协程异步逻辑抽象，复杂场景下代码逻辑难以梳理；
Spark SQL 与 HQL 细节差异容易混淆，大数据多框架串联使用思路不清晰。
最后一周侧重复盘整合，搭建串联案例，巩固全部知识点。