6

一、本周完成内容与时间分配
1. 本周学习内容：完成MapReduce气象数据实战案例，实现温度极值统计；系统了解大数据生态全套组件功能（Ambari、Oozie、Hive、Spark、Flume、Sqoop、HBase、Zookeeper）；完善Python词频统计代码，采集信息化行业文本素材。
2. 学习总时长：31小时
3. 代码实操时长：17小时（气象MR代码、Python热词采集脚本）
4. 问题排查耗时：9小时（MR分区逻辑、文本素材清洗bug调试）
二、下周计划
1. 梳理信息化领域热门技术词汇，完成词汇分类框架；
2. 完善Python分词、词频排序、可视化代码；
3. 复盘HDFS、YARN、MapReduce全部核心知识点，整理笔记。
三、本周遇到的问题
1. MapReduce自定义分区逻辑编写错误，气象数据分区错乱；
2. 大数据生态各组件分工容易混淆，分不清采集、存储、计算、调度工具的使用场景；
3. 网络爬取信息化文本存在大量无效标点、停用词，增加数据清洗工作量。