大数据应用技术课程实践--选题与实践方案

一、选题与意义

1.Hadoop平台应用

2.Kaggle分析数据项目

简要说明理由与意义。

我选择的题目是Kaggle分析数据项目——通过推文预测灾难是否发生。首先是因为太久没接触过Hadoop平台了，而且不知道安装的时候还会不会出现一些难以解决的问题，再加上这学期学习了机器学习这门课程，所需的环境已经搭配好，操作也熟悉一些。

二、实践方案

简要说明理由。

Twitter已成为紧急时刻的重要沟通渠道。
智能手机无处不在，使人们可以宣布他们正在实时观察的紧急情况。因此，越来越多的机构（例如救灾组织和新闻机构）对以编程方式监视Twitter感兴趣。

但是，并不总是很清楚一个人的话是否真的宣告了灾难。

有一些隐喻的语言，人们能够明白这是否属于灾难，但机器并不知道。

所以需要进行练习，来判断机器是否能够预测推文中的灾难信息，从而可以更好的帮助救灾组织。

三、实践任务分解

根据所选的题目，明确实验步骤，分解任务到每天。

1.确认选题，下载数据

2.数据导入，分析和处理

3.创建数据分析模型

4.模型预测

四、实践计划

按任务分解撰写计划表，每天按计划表开展工作。

第天根据实际情况更新计划表，有必要时调整。

 

 

 

1.

• 网站用户购物行为分析
• 官网：http://dblab.xmu.edu.cn/post/7499/
• 淘宝双11数据分析与预测
• 官网：http://dblab.xmu.edu.cn/post/8116/
• 电信用户行为分析
• http://dblab.xmu.edu.cn/post/useranalysis/

 

大数据平台安装软件：

链接：https://pan.baidu.com/s/1lZM6BkZ6XoRE3uwepsQ_5A
提取码：ao1m

虚拟机镜像文件:

链接：https://pan.baidu.com/s/1e0qak_9Uymn_R1HmSu5ZLw  
提取码：q0lt

 

2.

https://www.kaggle.com/competitions

 

说明：

• 个人项目，不要求组队，确实需要组队的说明理由。
• 边操作边记录；
• 每天完成当天文档；
• 最后综合成课程实践报告。