作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

1.将爬虫大作业产生的csv文件

2.对CSV文件进行预处理生成无标题文本文件

3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

 (1)查询数据的总数

(2)查询去重书名的数据总数

(3)查询去重书名并按评论数排序从大到小输出前10行的数据

(4)查询评论数大于10000的书总数

(5)查询简介里包含有‘大数据’内容的总数

 

posted on 2019-06-20 10:01  KevinShem  阅读(112)  评论(0编辑  收藏  举报