scrapy-djangoitem

scrapy-djangoitem 见名知义，scrapy + django + item ,一个scrapy利用Django存储item的包

1，下载模块

pip install scrapy-djangoitem

2，在scrapy项目目录创建一个Django项目，或者在一个Django项目创建一个scrapy项目

具体操作不写，scrapy项目根目录文件名和Django项目根目录文件名可以相同。

3，Django项目根据爬虫需要获取的字段创建表，并且迁移至数据库。

具体操作不写，正常创建操作即可。

4， scrapy的settings设置

import os
import sys

sys.path.append(os.path.dirname(os.path.dirname(".")))
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

import django

django.setup()

在settings中添加启动Django的代码。
解开scrapy管道ITEM_PIPELINES的注释

5，items设置

from scrapy_djangoitem import DjangoItem
from reader.models import Wutu
# 先导入DjangoItem并且继承，导入Django中创建的模型

class WutuItem(DjangoItem):
    django_model = Wutu

6， 在管道中存储数据

class BiePipeline(object):

    def process_item(self, item, spider):
        item.save()

直接使用item.save()即可，多个item多个表一样item.save()即可。