数据建模

在item.py文件中进行数据建模

数据建模的原因:1.定义item前需要规划要抓取哪些数据,防止手误。在运行过程中,系统会自动检查  

        2,配合注释可以一起清晰的知道抓取哪些数据,没有定义的数据不能抓,在目标字段少的时候可以用字典代替。

        3.使用scrapy的一定特定组件需要item进行支持,如scrapy的imagePipeline管道类。

class Myspider01Item(scrapy.Item):
# define the fields for your item here like:

name = scrapy.Field()

title = scrapy.Field()

desc = scrapy.Field()

if __name__ == '__main__':
item = Myspider01Item()
item['name'] = '王老师',
item['title'] = '十大大苏打',
item['desc'] = '防守对方的公然否认施工图色发射点'
print(item)
运行一下,在这里我报错了一个xcd non-utf-8的错误,在首行添加coding:utf-8

在itcast.py中导入from myspider01.items import Myspider01Item
实例化对象  
item = Myspider01Item()
然后将所有的temp改成item

命令行运行报错,找到报错信息原因是item不是字典,来到pipeline中强转为字典,item=dict(item)
posted @ 2022-10-30 18:59  迪迦9723  阅读(74)  评论(0)    收藏  举报