scrapy基本配置

目录

• scrapy工作流程
• cmdline启动爬虫程序
• settings.py文件 常用选项
• 日志文件配置

scrapy工作流程

cmdline启动爬虫程序

from scrapy.cmdline import execute
execute('scrapy crawl example'.split(' '))

settings.py文件 常用选项

ROBOTSTXT_OBEY = False # 禁用君子协议
DOWNLOAD_DELAY = 3 # 请求的延迟

日志文件配置

在settings.py中设置日志的输出标准并且设置日志输出位置
LOG_LEVEL="WARNING" 表明日志输出等级为错误
LOG_FILE="./a.log"