Hadoop综合大作业

Hadoop综合大作业

一、用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。

1.启动hadoop及其相关组件程序

2.创建工作空间文件夹

3.上传数据源文件到hdfs

4.启动hive

5.初始化hive关联数据库类型，以解决相关程序运行时错误

6.创建数据表

7.将数据装载到数据表中

8.对数据表中的数据进行词频统计

9.统计结果（节选）

二、用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。

 1.将数据文件上传到hdfs中

hdfs dfs -put ~/hadoop/data.csv /user/workspace

2.查看hdfs上的data.csv文件前10条数据的内容：

hdfs dfs -cat /user/workspace/data.csv | head -10

3.启动hive

./usr/local/BigData/hive/bin/hive

4.创建数据表data

create table data(line string);

5.将数据导入到数据表中

load data inpath '/user/hadoop/hive/data.csv' overwrite into table data;