2018年7月12日
python之路 -- 爬虫 -- 高性能相关
摘要： 高性能爬虫方案： 多进程 多线程 利用“异步非阻塞”模块实现单线程并发请求。 本质 IO多路复用： 监听多个socket是否发生变化 IO多路复用的作用： 1.select，内部循环检测socket是否发生变化；最多只能检测1024个socket 2.poll，内部循环检测socket是否发生变化； 阅读全文
posted @ 2018-07-12 20:29 Aberwang 阅读(110) 评论(0) 推荐(0)