摘要: 为了抓取网站,我们首先需要下载包含有感兴趣数据的网页,该过程一般被称为爬取“crawing”。爬取一个网站有很多种方法,而选用哪种方法更加合适,则取决于目标网站的结构。本章中,首先会探讨如何安全地下载网页,然后会介绍如下3种爬取网站的常见方法: 爬取网站地图 遍历每个网页的数据库ID 跟踪网页链接 阅读全文
posted @ 2018-07-17 16:57 叫我彪哥 阅读(3775) 评论(0) 推荐(0)