Hadoop综合大作业

 

 

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。

先启动Hadoop。

jps查看各个服务已启动

 

把本地文件上传到hdfs文件系统

建个表text

把hdfs文件系统中input文件夹里的文本文件load进去,写hiveQL命令统计

 使用select命令查看结果

 

2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。