2018年7月14日
邮件发送 smtplib
摘要： 恢复内容开始 推展 恢复内容结束 阅读全文
posted @ 2018-07-14 12:05 Eunuch_Li 阅读(227) 评论(0) 推荐(0)
爬虫 ItemLoader
摘要： 流程 在爬虫py中, 在item 中 阅读全文
posted @ 2018-07-14 09:48 Eunuch_Li 阅读(273) 评论(0) 推荐(0)
爬虫 异步数据写入框架 (adbapi)
摘要： 数据库pymysql的commit()和execute()在提交数据时，都是同步提交至数据库，由于scrapy框架数据的解析和异步多线程的，所以scrapy的数据解析速度，要远高于数据的写入数据库的速度。如果数据写入过慢，会造成数据库写入的阻塞，影响数据库写入的效率。通过多线程异步的形式对数据进行写入，可以提高数据的写入速度。 使用twisted异步IO框架，实现数据的异步写入。 from tw... 阅读全文
posted @ 2018-07-14 09:28 Eunuch_Li 阅读(2131) 评论(0) 推荐(0)