simon成长日记

摘要： #前提 如果爬取解析的数据不在同一张页面中。（深度爬取） #实战 使用古诗词网站进行模拟 import scrapy from bossPro.items import BossproItem class BossSpider(scrapy.Spider): name = 'boss' # allo 阅读全文

摘要： #前言 每个网站都有很多页码，将网站中某板块下的全部页码对应的页面数据进行爬取 实现方式有两种: 1、将所有页面的url添加到start_urls列表（不推荐） 2、自行手动进行请求发送（推荐）yield scrapy.Request(url,callback):callback专门用做于数据解析 阅读全文