hadoop综合大作业

作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

 

1、把python爬取的数据传到linux

2.制作预处理脚本

3、把数据的逗号代替为 \t转义字符

4、启动hadoop集群

 

5、把数据文件上传到hdfs

 

6、启动hive

 

7、使用bdlab数据库

8、创建表并把hdfs的数据导入表中

 

 

 9、统计数据一共有105989条

 10、统计出不是同一用户评论的条数

11、列出前10名观众分数和时间

12、列出前10名观众的评论

13、统计评论分数大于4分（总5分）的评论条数，大部分是大于4分，说明

《宝可梦》的好评率很高。

14、统计出皮卡丘出现频率

 

 

15、列出多少个城市

 16、统计北京的评论数

17、统计上海的评论数 

18、统计广州的评论数

19、统计深圳的评论数