2020年9月22日
异步爬虫分析
摘要： 高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作. 异步爬虫的方式: - 多进程 多线程(不建议) 好处:可以为相关阻塞的操作单独开启进程或者线程,阻塞操作就可以异步执行 弊端:无法无限制的开启多线程,多进程 - 线程池&进程池(适当使用) 好处: 可以降低系统对进程或者线程创建和销毁 阅读全文
posted @ 2020-09-22 22:11 李淳罡zZ 阅读(130) 评论(0) 推荐(0)