摘要: 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 from concurrent.futures import ThreadPoolExecutor import requests def fetch_async(url): 阅读全文
posted @ 2018-05-26 17:16 MrCARL 阅读(121) 评论(0) 推荐(0)
摘要: 性能相关的了解 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。如下各种不同的执行 import requests def fetch_async(url): response = requests.get(url) return re 阅读全文
posted @ 2018-05-26 16:46 MrCARL 阅读(132) 评论(0) 推荐(0)