2021年10月12日
Python 爬虫笔记
摘要： 组成： 调度器：调度URL管理器、下载器、解析器之间的协调工作URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复爬取网页下载器：下载网页，网页下载器有urllib 包括需要 登录、代理、和cookie，requests(第三方包)网页解析器：解析 DOM 树，通过 正则表达式、htm 阅读全文
posted @ 2021-10-12 15:07 海胆Sur 阅读(14) 评论(0) 推荐(0)