2018年7月27日
python-day2爬虫基础之爬虫基本架构
摘要： 今天主要学习了爬虫的基本架构，下边做一下总结： 1.首先要有一个爬虫调度端，来启动爬虫、停止爬虫或者是监视爬虫的运行情况，在爬虫程序中有三个模块，首先是URL管理器来对将要爬取的URL以及爬取过的URL这两个数据的管理，从URL管理器中，我们可以取出一个待爬取的URL，将其传送给网页下载器，下载器会 阅读全文
posted @ 2018-07-27 22:30 志瞳道合 阅读(204) 评论(0) 推荐(0)