Hadoop综合大作业

Hadoop综合大作业 ：

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。

2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。

 

一：用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。

1：启动Hadoop

2：创建文件并查看

3：上传词频统计文本

 

4：启动hive

5：导入文件内容

6：进行词频统计

7：得到结果

二：.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。

1：产生CSV文件

2：上传到虚拟机并查看

3：启动hive

4：导入数据到表并查看

 

 总结：通过这一系列的操作能更好的熟悉对Hadoop和hive的操作。