摘要:
在item.py文件中进行数据建模 数据建模的原因:1.定义item前需要规划要抓取哪些数据,防止手误。在运行过程中,系统会自动检查 2,配合注释可以一起清晰的知道抓取哪些数据,没有定义的数据不能抓,在目标字段少的时候可以用字典代替。 3.使用scrapy的一定特定组件需要item进行支持,如scr 阅读全文
posted @ 2022-10-30 18:59
迪迦9723
阅读(74)
评论(0)
推荐(0)
摘要:
利用pipeline来处理(保存)数据 在pipeline.py文件中定义操作数据 1.定义一个管道类 2.重写管道类process_item方法 3.process_item方法处理完item返回引擎 在pipeline中class Myspider01Pipeline: def process_ 阅读全文
posted @ 2022-10-30 17:57
迪迦9723
阅读(99)
评论(0)
推荐(0)
浙公网安备 33010602011771号