摘要:
性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 from concurrent.futures import ThreadPoolExecutor import requests def fetch_async(url): 阅读全文
posted @ 2018-05-26 17:16
MrCARL
阅读(121)
评论(0)
推荐(0)
摘要:
性能相关的了解 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。如下各种不同的执行 import requests def fetch_async(url): response = requests.get(url) return re 阅读全文
posted @ 2018-05-26 16:46
MrCARL
阅读(132)
评论(0)
推荐(0)
浙公网安备 33010602011771号