第三周
一、本周完成内容与时长统计
本周总学习时长 39 小时,理论学习 20 小时,代码实操 14 小时,疑难解决耗时 5 小时。
工程技能:深耕程序调试能力,熟练运用断点调试定位代码问题,整理 Python 高频报错清单,总结报错排查思路,学习简单项目架构设计,学会拆分复杂需求、模块化编写代码。
Python 学习:吃透正则表达式,熟练解析 json 结构化数据,入门 requests 爬虫,爬取静态网页文本、表格数据,编写简易数据采集脚本,学会伪装请求头规避基础反爬。
大数据:熟练使用 HDFS 常用操作命令,梳理 HDFS 读写数据完整流程,学习 MapReduce 核心思想,手写 WordCount 简单逻辑,了解分布式计算运行流程。
本周爬虫反爬拦截、MapReduce 逻辑构思、HDFS 权限问题一共耗费 5 小时调试摸索,不断修改代码、查阅官方文档解决各类问题。
二、下周工作计划
- Python:学习 pandas、numpy 数据分析基础库,练习表格数据清洗、统计运算;
- 工程技能:练习小型需求拆解,独立规划一个小项目结构,学习日志标准化输出;
- 大数据:完整运行 MapReduce WordCount 案例,学习 YARN 资源调度框架基础。
三、本周遇到的问题 - 爬虫遇到基础反爬机制,频繁出现访问被拒绝,不清楚代理、延时等进阶防封手段;
- MapReduce 计算逻辑抽象,梳理分片、映射、归约流程时思路卡顿;
- pandas 数组维度概念模糊,简单数据运算容易出现索引越界错误。
后续计划多看实战教程,动手复刻经典案例,把抽象理论结合代码理解记忆。

浙公网安备 33010602011771号