摘要: 爬虫即网络爬虫,是一种自动获取网页内容的程序。 是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 分类: 一般分为传统爬虫和聚焦爬虫。 传统爬虫:从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中, 不断从当前页面上抽取新的URL放入队列,直到 阅读全文
posted @ 2019-07-12 13:51 千钧蚁 阅读(339) 评论(0) 推荐(0)