摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。 a.开启 cd /usr/local cd hive/lib start-all.sh b.查看 Jps c.将网络爬虫大作业的结果存入txt,并且保存到hdfs里面。 这是爬虫爬出来的数据 #新建路径/web 阅读全文
posted @ 2018-06-09 12:47 262罗肖凤 阅读(170) 评论(0) 推荐(0) 编辑