2021年3月9日

python爬虫笔记（二）
摘要： 构建新的请求实现翻页 关于spider源码 每一个request返回一个response，parse是response默认的回调函数，每一个response都有parse函数，但parse中返回的所有item都使用同一个管道对象 正式开始： 两种方法：1.拼接url，2.找到翻页连接 1.拼接url 阅读全文
posted @ 2021-03-09 22:25 CodingLifeFkingMovie 阅读(51) 评论(0) 推荐(0)
 
python爬虫学习笔记（一）
摘要： Anaconda + scrapy 1.scrapy框架 scrapy框架的核心是scrapy引擎，负责调度各个组件和传递消息，运行时，爬虫文件读取数据，爬出url并发送新的请求，url由引擎交给调度器，调度器排队后返回引擎，引擎再交给下载器下载html源码交给引擎，引擎将数据交给管道文件处理，同时 阅读全文
posted @ 2021-03-09 16:34 CodingLifeFkingMovie 阅读(70) 评论(0) 推荐(0)