Fork me on GitHub
摘要:介于上一篇的java实现网络爬虫基础之上,这一篇的思想是将网络收集的数据保存到HDFS和数据库(Mysql)中;然后用MR对HDFS的数据进行索引处理,处理成倒排索引;搜索时先用HDFS建立好的索引来搜索对应的数据ID,根据ID从数据库中提取数据,呈现到网页上。 这是一个完整的集合网络爬虫、数据库、 阅读全文
posted @ 2017-08-16 22:28 sunwengang 阅读(1768) 评论(1) 推荐(2) 编辑