2019年7月29日

scrapy parse函数执行了，却打印不了内容

摘要： scrapy parse函数为什么执行了，打印不了内容 解决： 1.找到settings.py配置文件 把ROBOTSTXT修改为False 2.然后退出重启一下scrapy（pychram） 3.直接启动项目scrapy crawl baidu --nolog(不打印日志) 阅读全文

posted @ 2019-07-29 08:10 李小峰。 阅读(1469) 评论(0) 推荐(0)

Scrapy-Request中的回调函数不执行

摘要： scrapy-Request中的回调函数不执行1.加上参数dont_filter=True（去重）2.查看是不是allowed_domains范围内的url3.yield Request 改为yield scrapy.http.Request 阅读全文

posted @ 2019-07-29 08:07 李小峰。 阅读(1028) 评论(0) 推荐(0)

导航