2019年5月9日
提升Scrapy框架爬取数据效率的五种方式
摘要： 1、增加并发线程开启数量 settings配置文件中，修改CONCURRENT_REQUESTS = 100,默认为32，可适当增加； 2、降低日志级别 运行scrapy时会产生大量日志占用CPU，为减少CPU使用率，可修改log输出级别 settings配置文件中LOG_LEVEL='ERROR' 阅读全文
posted @ 2019-05-09 17:58 adrrfsfsd 阅读(1942) 评论(0) 推荐(0)
PyMysql模块
摘要： 安装方式 pip install pymysql 阅读全文
posted @ 2019-05-09 08:26 adrrfsfsd 阅读(124) 评论(0) 推荐(0)