大数据应用技术课程实践--选题与实践方案
一、选题与意义
1.Hadoop平台应用
2.Kaggle分析数据项目
简要说明理由与意义。
选择 第一题中的第2小题 对这个比较感兴趣
二、实践方案
简要说明理由。
三、实践任务分解
根据所选的题目，明确实验步骤，分解任务到每天。
- 安装Linux操作系统
- 安装关系型数据库MySQL
- 安装大数据处理框架Hadoop
- 安装数据仓库Hive
- 安装Sqoop
- 安装Eclipse
- 安装 Spark
- 对文本文件形式的原始数据集进行预处理
- 把文本文件的数据集导入到数据仓库Hive中
- 对数据仓库Hive中的数据进行查询分析
- 使用Sqoop将数据从Hive导入MySQL
- 利用Eclipse搭建动态Web应用
- 利用ECharts进行前端可视化分析
- 利用Spark MLlib进行回头客行为预测
四、实践计划
按任务分解撰写计划表，每天按计划表开展工作。
第天根据实际情况更新计划表，有必要时调整。
| 6.23 | 6.24 | 6.25 | 6.26 | 6.27 | 6.28 | 6.29 | 6.30 | 7.1 | 7.2 | 7.3 | |
| 安装Linux操作系统 | |||||||||||
| 安装关系型数据库MySql | |||||||||||
| 安装大数据处理框架hadoop | |||||||||||
| 安装数据仓库Hive | |||||||||||
| 安装Sqoop | |||||||||||
| 安装Eclipse | |||||||||||
| 安装Spark | |||||||||||
| 数据预处理 | |||||||||||
| 导入数据到仓库 | |||||||||||
| 把数据集导入到数据仓库 | |||||||||||
| 对仓库中的数据进行查询分析 | |||||||||||
| 使用Sqoop将数据从Hive导入MySql | |||||||||||
| 利用Ecplise搭建动态Web应用 | |||||||||||
| 利用Echarts进行前端可视化分析 | |||||||||||
| 利用Spark MLlib进行回头客行为预测 | |||||||||||
| 答辩 |
1.
- 网站用户购物行为分析
- 官网：http://dblab.xmu.edu.cn/post/7499/
- 淘宝双11数据分析与预测
- 官网：http://dblab.xmu.edu.cn/post/8116/
- 电信用户行为分析
- http://dblab.xmu.edu.cn/post/useranalysis/
大数据平台安装软件：
链接：https://pan.baidu.com/s/1lZM6BkZ6XoRE3uwepsQ_5A
提取码：ao1m
虚拟机镜像文件:
链接：https://pan.baidu.com/s/1e0qak_9Uymn_R1HmSu5ZLw
提取码：q0lt
2.
https://www.kaggle.com/competitions
说明：
- 个人项目，不要求组队，确实需要组队的说明理由。
- 边操作边记录；
- 每天完成当天文档；
- 最后综合成课程实践报告。
