摘要: 笔记-twisted-adbapi-scrapy-mysql 1. 异步插入mysql 在爬虫中需要insert到mysql,但有一个问题是在爬虫环境中commit的及时性与性能冲突。 一般可以在close_spider进行commit,这样做的问题是如果中途数据库崩了,数据丢失,找起来也很麻烦; 阅读全文
posted @ 2019-04-02 23:01 木林森__𣛧 阅读(767) 评论(0) 推荐(0)