随笔分类 -  网络爬虫spider

爬虫基础知识和运用
网络爬虫基础一
摘要：爬虫的分类 按使用场景： 1. 通用爬虫：指搜索引擎的爬虫 2. 聚焦爬虫：指针对特定网站的爬虫 聚焦爬虫又可以分为大致3种： 1. 累积式爬虫: 从开始到结束,一直不断爬取，过程中会进行去重操作； 2. 增量式爬虫: 对已经下载的网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫； 3. 阅读全文
posted @ 2018-01-03 09:50 倥偬时光 阅读(1544) 评论(2) 推荐(2)