学习进度笔记(十四)
今天准备学习信息热词分析的作业。
1、学习构建北京市政百姓信件分析实战案例,完成 (1) 采集北京市政百姓信件内容; (2) 编写 MapReduce 程序清洗信件内容数据;
(3) 利用 HiveSql 语句离线分析信件内容数据; (4) 利用 Sqoop 导出 Hive 分析数据到 MySQL 库; (5) 开发 JavaWeb+ECharts 完成信件数据图表展示过程。
关于这部分,我在网上学习到这部分内容要爬虫、数据清洗然后再导入数据,最后导入MYSQL本地数据库,最后是可视化的展示。