摘要：分布式爬虫的原理 scrapy分布式爬取的实现 搭建redis服务器 部署代理池和cookie池 配置scrapy redis Bloom Filter(判断一个元素是否存在集合中) scrapy去重 阅读全文

摘要：爬虫基础 URL&&URI 请求方法：GET&&POST 响应 基本库的使用 urllib urlopen(传递参数data) urlopen(设置超时timeout) 打开网站需要验证账号密码可以借助HTTPBasicAuthHandler完成 代理IP,ProxyHandler Cookie 解 阅读全文

摘要：anaconda安装 打开浏览器的开发者模式 设置 更多工具 扩展程序 安装xpath解析工具到浏览器扩展程序 使用xpath插件查询元素ctrl+shif+x 获取url地址并获取源码 把获取的URL响应内容从字节转换成字符decode 创建一个新的User Agent 返回url的影响码getc 阅读全文