2019年5月6日
高性能的异步爬虫
摘要： 高性能的异步爬虫 三种方式: 1.多进程多线程(不建议) 2.进程池或者线程池(适当) 3.单线程+异步协程(推荐) 多进程多线程 占用cpu资源,不建议使用 基于线程池的异步爬虫 结果: 单线程+异步协程 基本使用 task的使用 future的使用 绑定回调 多任务异步协程 执行结果: 结果发现 阅读全文
posted @ 2019-05-06 20:37 yara-ning 阅读(200) 评论(0) 推荐(0)