摘要： 1.串行方式执行程序记录： 2.串行使用8秒，使用线程池用了2秒： 阅读全文

摘要： 1.异步爬虫的方式： 阅读全文

摘要： 1.异步处理的问题：串行，网站从一个网址开始爬取： 阅读全文

摘要： 1.查看origin的value值如果和proxies相同，则代理生效： 2.测试代理成功后，将代理添加到爬虫程序中使用： 阅读全文

摘要： 代理： 破解放IP这种反爬机制代理的概念： - 代理服务器。代理的作用： - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站： - 快代理 - 西祠代理 - www.goubanjia.com 阅读全文

摘要： 1.方法一自动添加cookie：定义session方法，登录后使用session.get（）代替requests.get()： 2.方法二：手动添加cookie_cookie请求登录用户主页1：先找到登录请求的url中的cookie: 3.方法二：手动添加cookie_cookie请求登录用户主页2 阅读全文

摘要： 1.超级鹰验证码图片识别函数 '''思路： 1.requests对网址发送请求获取图片 2.下载图片图片到本地 3.用超级鹰识别图片获取验证码'''import requestsfrom lxml import etreefrom hashlib import md5# 封装识别验证码图片的函数# 阅读全文

摘要： 1.将超级鹰的验证码识别demo代码添加到请求代码中_1： 2.将超级鹰的验证码识别demo代码添加到请求代码中_2： 3.先请求网站数据下载验证码图片，调用超级鹰函数进行图片验证码识别： 4.识别古诗文网的登录验证码图片： 阅读全文

摘要： 1.注册登录后进入用户中心： 2.查看是否有积分如果没有则关注公众号领取积分： 3.关注超级鹰公众号领取识别码积分： 4.点击软件ID生成一个软件ID_1： 5.创建相对应的软件名和使用说明： 6.创建成功后进入开发者文档下载python语言demo： 7.超级鹰py文件修改账号密码软件ID： 8. 阅读全文

摘要： 1.爬取免费简历模板_1： 2.爬取免费简历模板_2： 3.简历爬取结果： 阅读全文