2.11假期记录

今日开展个人项目的开发工作，核心完成数据采集与批处理模块的搭建。首先编写 Python 脚本，从 MySQL 读取医院进销存原始数据，写入 HDFS 供 Spark 批处理使用。基于之前学习的 Spark SQL 知识，开发批处理核心功能：实现药品进销总量统计、供应商采购占比分析、滞销药品筛选。使用SparkSession读取 HDFS 中的 Parquet 文件，编写 DataFrame API 与 SQL 语句完成统计分析，将结果写入 MySQL 的分析结果表。测试批处理模块的功能，验证统计结果的准确性。解决了数据格式不统一的问题，通过 UDF 实现数据清洗，确保分析数据的质量。