周总结报告4

一、本周进展回顾
（一）时间投入
本周总学习时长 26 小时，分配如下：

大数据技术：12 小时（ZooKeeper、Flume）

Java Web：6 小时（鉴权改造、性能监控）

Python：6 小时（数据可视化）

问题解决：2 小时（Flume 数据丢失）

（二）学习与实践内容

大数据技术

ZooKeeper：部署集群，研究 Watcher 机制与选举算法，实操 HDFS-HA 故障转移中 ZooKeeper 的角色；通过命令行与 Java API 操作节点数据。

Flume：配置 Source（监控 Java Web 日志目录）、Channel（Memory）、Sink（HDFS），实现日志实时上传；优化 Sink 滚动策略避免小文件问题。

Java Web

用 JWT 替换 Session 鉴权，解决分布式环境下状态同步问题；集成 Actuator 监控接口性能，定位慢查询（如日志分页接口）。

Python

基于 PySpark 分析 HBase 用户行为数据，生成热力图与折线图（Matplotlib+Seaborn），导出 HTML 报告；用 Flask 搭建简易看板展示分析结果。

二、下周计划安排

大数据方向

学习 Kafka 消息队列，搭建生产者-消费者模型，与 Flume 联动构建日志管道。

研究 Hive 数据仓库，对比 HBase 适用场景，实践 HQL 查询与外部表映射。

Java Web 与 Python

开发 Java Web 消息通知模块（WebSocket），前端实时展示 Flume 采集的日志动态。

用 Python 脚本自动化监控 Hadoop 集群状态（如磁盘使用率），异常时触发告警。

三、本周遇到的问题

技术难题

Flume 传输日志时偶发数据丢失，调整 Channel 为 File 类型并增加事务超时设置后稳定。

JWT 令牌刷新逻辑存在并发问题，通过 Redis 分布式锁解决。

学习反思

部分新技术概念抽象，后续需加强理论联系实践。