第六周

一、本周完成内容与时长统计
本周总学习时长 42 小时，理论学习 22 小时，代码实操 15 小时，问题解决耗时 5 小时。
工程技能：学习 Python 单元测试框架，为项目核心函数编写测试用例，提前规避逻辑 bug，学习并发程序基础规范，梳理多线程编写注意事项，优化往期项目并发运行逻辑。
Python：学习 threading 多线程模块，编写多线程爬虫脚本，大幅提升采集速度，学习基础线程锁，规避多线程数据错乱问题。
大数据：入门 Scala 基础语法，对比 Python 梳理语法差异，学习 Spark RDD 创建、转换算子、行动算子，手写简单 RDD 计算案例，理解 Spark 内存计算优势。
本周 Scala 语法纠错、线程冲突调试、RDD 逻辑编写一共花费 5 小时打磨练习。
二、下周工作计划

1. Python：巩固多线程，入门协程，完善综合爬虫项目，加入数据持久化存储；

2. 工程技能：学习项目部署基础，尝试把 Python 脚本在虚拟机后台常驻运行；

3. 大数据：熟练常用 RDD 算子，学习 Spark SQL，类比 Hive 理解结构化数据查询。
   三、本周遇到的问题

4. 线程锁使用场景判断不准，容易出现死锁或者数据错乱；

5. Scala 强类型语法严格，变量定义、函数写法频繁报错，编写效率低；

6. Spark 算子繁多，转换算子与行动算子区分困难，流程梳理混乱。
   接下来每日背诵常用算子，用 Python 与 Scala 对照练习，加深理解。