天叔

摘要： 异步爬虫的方式： —— 1.多线程, 多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。 弊端：无法无限制的开启多线程或者多进程。 —— 2.线程池、进程池（适当的使用）： 好处：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。 弊 阅读全文

摘要： 话不多说，直接上代码，如果爬取代码失效了，可以留下言，我看到会改。 import requests from lxml import etree from multiprocessing.dummy import Pool import re headers = { 'User-Agent': 'M 阅读全文