2017年12月15日
ken桑带你读源码 之scrapy scrapy\extensions
摘要： logstats.py 爬虫启动时 打印抓取网页数 item数 memdebug.py 爬虫结束 统计还被引用的内存 也就是说gc 回收不了的内存 memusage.py 监控爬虫 内存占用 一旦超过 MEMUSAGE_LIMIT_MB 就stop spider 如果启动email 还会发送邮件 抓 阅读全文
posted @ 2017-12-15 01:45 ken桑带你飞 阅读(187) 评论(0) 推荐(0)