摘要： Scrapy 框架将爬取的数据通过管道进行处理，即 pipelines.py 文件。 管道处理流程 一、定义 item item 表示的是数据结构，定义了数据包括哪些字段 写法比较固定，不可随意更改；注意没有return 二、在爬虫中生成 item 爬虫组件必须将数据按 item 的结构进行组织 注 阅读全文

摘要： 最新版本的 scrapy 已经废弃了 scrapy.log 的使用，赞成显示调用python标准日志记录。 Python 内建日志系统 Scrapy 日志系统 方式一：Spider 实例提供的logger方法 方式二：自定义日志记录器 这两种方式生成的日志记录在系统命令中 日志记录配置 若要生成日志 阅读全文