Aberwang

摘要： 高性能爬虫方案： 多进程 多线程 利用“异步非阻塞”模块实现单线程并发请求。 本质 IO多路复用： 监听多个socket是否发生变化 IO多路复用的作用： 1.select，内部循环检测socket是否发生变化；最多只能检测1024个socket 2.poll，内部循环检测socket是否发生变化； 阅读全文

摘要： 1.requests Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。 requests模块的参数 1.1 get #发送get请求 阅读全文

摘要： 爬虫最常用的模块：requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是他不好用。一般情况下我们都会使用一个第三方模块requests来发送http请求。requests发送请求的方式一般有2 种，get请求和post请求. reque 阅读全文