摘要: 在item.py文件中进行数据建模 数据建模的原因:1.定义item前需要规划要抓取哪些数据,防止手误。在运行过程中,系统会自动检查 2,配合注释可以一起清晰的知道抓取哪些数据,没有定义的数据不能抓,在目标字段少的时候可以用字典代替。 3.使用scrapy的一定特定组件需要item进行支持,如scr 阅读全文
posted @ 2022-10-30 18:59 迪迦9723 阅读(74) 评论(0) 推荐(0)
摘要: 利用pipeline来处理(保存)数据 在pipeline.py文件中定义操作数据 1.定义一个管道类 2.重写管道类process_item方法 3.process_item方法处理完item返回引擎 在pipeline中class Myspider01Pipeline: def process_ 阅读全文
posted @ 2022-10-30 17:57 迪迦9723 阅读(99) 评论(0) 推荐(0)