Scrapy 将数据导入MySQL

配置环境：已安装好Scrapy库，MySQL，Navicat for MySQL 可视化工具；

基本思路：

1.pipeline文件处理的是spider爬取得到的item进行处理，包括导入数据库，保存图片及json文件，以及各种处理。

2.通过Navicat可视化工具先对MySQL数据库进行预处理，或者是MySQL Shell，建表插数据；

常用MySQL 语句：

1.新建数据库及表格：

• create database <数据库名>：新建数据库
• create table if not exists <表名> （

         task_id INT(11) NOT NULL AUTO_INCREMENT,

   subject VARCHAR(45) DEFAULT NULL,

   start_date DATE DEFAULT NULL,

   end_date DATE DEFAULT NULL,

   description VARCHAR(200) DEFAULT NULL,

   PRIMARY KEY (task_id) )

          ）

     每一列的数据需要指定数据类型；是否接受Null值；

 

2.查询语句：

• use <数据库名>： 使用数据库
• select column_1, column_2, column_3 from <表名>：查看表中某几列的数据
• select * from <表名>：查看所有数据

3.插入语句：

insert into table (column1,column2, column3...)

values (value1,value2, value3...),(value1,value2,value3),...;

只有插入数据后才能查询；

参考链接:http://www.yiibai.com/mysql/insert-statement.html

实现代码：

1. 自定义用于处理（存入MySQL）的pipeline:

class MysqlPipeline(object):
    def __init__(self):
        self.conn=MySQLdb.connect(host='localhost',user='root',pass_wd='950217',db='article_spider',charset="utf8",use_unicode=True)
        self.cursor=self.conn.cursor()  #使用cursor方法获取操作游标，来对mysql数据库进行操作

    def process_item(self,item,spider):
        insert_sql="""
            insert into article(title,begin_date,text,tags)
            VALUES (%s,%s,%s,%s)
        """
        self.cursor.execute(insert_sql,(item["title"],item["begin_date"],item["text"],item["tags"]))
        self.conn.commit()

• 需要使用python连接mysql的库：mysqldb
• 3:使用MySQLdb.connect()方法打开数据库连接；这个方法的参数详见：https://moreoronce.gitbooks.io/learnpython/content/300/302.html
• 4:cursor是操作游标
• 11.cursor.execute()是真正执行MySQL语句的方法
• 12. con.commit() 提交事务

2. 使用twisted异步插入MySQL

  Twisted为关系型数据库提供了异步的操作；

 

代码实现：

  from twisted.enterprise import adbapi
  import MySQLdb.cursors
 1 class MysqlTwistedPipeline(object):
    def __init__(self,dbpool):
        self.dbpool=dbpool

    @classmethod
    def from_settings(cls,settings):
        dbparams=dict(
            host=settings["MYSQL_HOST"],
            db=settings["MYSQL_DBNAME"],
            user=settings["MYSQL_USER"],
            passwd=settings["MYSQL_PASSWORD"],
            charset='utf8',
            cursorclass=MySQLdb.cursors.DictCursor,
            use_unicode=True
        )

        dbpool=adbapi.ConnectionPool("MySQLdb",**dbparams)   

        return cls(dbpool)
    def process_item(self,item,spider):
        #使用twisted将Mysql插入变成异步执行
        query=self.dbpool.runInteraction(self.do_insert,item)    #调用do_insrt执行插入数据库的具体逻辑
        query.addErrback(self.handle_error,item,spider)         #调用handle_error处理异步插入过程中的异常

    def handler_error(self,failure,item,spider):
        #处理异步插入的异常
        print(failure)

    def do_insert(self,cursor,item):
        #执行具体的插入逻辑
        insert_sql = """
                    insert into article(title,begin_date,text,tags)
                    VALUES (%s,%s,%s,%s)
                """
        cursor.execute(insert_sql, (item["title"], item["begin_date"], item["text"], item["tags"]))