Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。

启动hive:

 

将网络爬虫大作业产生的文件cgpword.txt上传至hdfs:

创建原始文档表：

导入文件数据：

进行词频统计，结果放在表cgp_count里：

查看统计结果：

2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。

首先将爬虫大作业的数据导出为CSV文件cgpnewss.csv

 

这是我的csv文件：

 

然后通过邮箱下载进虚拟机中， 将文件拷贝到 /usr/local/bigdatacase/dataset文件夹中

 

显示文件前五行数据

数据集预处理：

删除第一行记录， 即字段名称

对字段进行预处理

为每行记录增加一个id字段（让记录具有唯一性）

增加一个作者字段（用来后续进行可视化分析）

vim建一个脚本文件pre_deal.sh

执行pre_deal,sh脚本文件，来对cgpnewss.csv进行数据预处理

查看生成的user_table.txt

启动HDFS

在HDFS上建立bigdatacase/dataset文件夹

把user_table.txt上传到HDFS中

查看HDFS中的user_table.txt的前十条记录

启动HIVE，然后创建数据库bdlab

创建外部表，把HDFS中的“/bigdatacase/dataset”目录下的数据加载到数据仓库HIVE中

在HIVE中查看数据

查看其中一列数据

查看有多少条数据