2023年1月6日
爬虫基本概念-分类及http协议
摘要： 1.爬虫分类： 1）通用爬虫：抓取系统重要组成部分，抓取的是一整张页面数据。 2）聚焦爬虫：建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 3）增量式爬虫：监测网站中数据更新的，只会抓取网站中最新更新出来的数据 robots.txt 协议 查看爬取网站协议： 网站/robots.txt ht 阅读全文
posted @ 2023-01-06 12:55 一路向北d 阅读(67) 评论(0) 推荐(0)