该文被密码保护。 阅读全文

摘要： scrapy框架(内部去下载内容就是使用twisted异步非租塞模块) 1.依赖twisted 内部基于事件循环的机制实现爬虫的并发 非租塞：不等待 发起连接请求，不等待连接再去连接下一个，发送一个之后马上发送下一个 异步：回调 体现就是通知 只要发送成功回来就自动通知 事件循环：循环socket任 阅读全文

摘要： start_urls内部原理 步骤 编写 用到的知识 可迭代对象或者生成器直接iter方法变成迭代器，以后定制start_urls的时候可以自己直接发post请求，内置默认用的get方法，拿url也可以到缓存redis中拿。 源码部分： 深度、优先级 源码流程分析 结合我的这篇博文深度https:/ 阅读全文

摘要： 简单的使用内置的代理中间件 源码分析 总结： 如果要简单的使用只需在请求刚开始的时候定义os.environ进程环境变量 如果要自定义下载代理中间件需要定义这些方法 自定义下载代理中间件方式一 自定义下载代理中间件方式二，源码看了很轻松自己定义 配置文件中 好奇看下Scrapy的配置文件 阅读全文