2017年10月18日
Scrapy的log日志功能
摘要： Logging Scrapy提供了log功能，可以通过 logging 模块使用 可以修改配置文件settings.py，任意位置添加下面两行 Scrapy提供5层logging级别: CRITICAL - 严重错误(critical) ERROR - 一般错误(regular errors) WA 阅读全文
posted @ 2017-10-18 11:33 言守中 阅读(16719) 评论(0) 推荐(1)
如何实现在scrapy调试爬虫
摘要： # -*- coding:utf-8 -*- from scrapy.cmdline import execute import sys import os '''在爬虫文件夹下面自定义一个main.py的文件 __file__指的是当前main.py文件 os.path.abspath(__file__)获取当前main.py文件所在路径 os.path.dirname(os.path.ab... 阅读全文
posted @ 2017-10-18 10:54 言守中 阅读(1529) 评论(0) 推荐(0)