2018年6月9日
1.用Hive对爬虫大作业产生的文本文件2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。
摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 a.开启 cd /usr/local cd hive/lib start-all.sh b.查看 Jps c.将网络爬虫大作业的结果存入txt，并且保存到hdfs里面。 这是爬虫爬出来的数据 #新建路径/web 阅读全文
posted @ 2018-06-09 12:47 262罗肖凤 阅读(213) 评论(0) 推荐(0) 编辑