2019年4月2日
笔记-twisted-adbapi-scrapy
摘要： 笔记-twisted-adbapi-scrapy-mysql 1. 异步插入mysql 在爬虫中需要insert到mysql，但有一个问题是在爬虫环境中commit的及时性与性能冲突。 一般可以在close_spider进行commit，这样做的问题是如果中途数据库崩了，数据丢失，找起来也很麻烦； 阅读全文
posted @ 2019-04-02 23:01 木林森__𣛧 阅读(767) 评论(0) 推荐(0)