摘要： Scrapy的日志等级 请求传参 - 在某些情况下，我们爬取的数据不在同一个页面中，例如，我们爬取一个电影网站，电影的名称，评分在一级页面，而要爬取的其他电影详情在其二级子页面中。这时我们就需要用到请求传参。 - 案例展示：爬取www.id97.com电影网，将一级页面中的电影名称，类型，评分一级二 阅读全文

摘要： 实现方案：使用Request方法手动发起请求。 示例一 实例二 post请求 重写start_requests方法，让其发起post请求 阅读全文

摘要： 持续化流程 爬取糗事百科首页中的段子和作者的数据爬取下来,进行持久化存储 爬虫文件:qiushibaike.py items文件: items.py 管道文件: pipelines.py 配置文件：settings.py 基于mysql的管道存储 将item数据写入mysql数据库 pipeline 阅读全文