wy0925 - 博客园

2019年6月27日

摘要： 1,取消文件: svn revert 文件名 2,取消目录 svn revert --depth=infinity 目录名 3,回退版本方法1: 用svn merge 1) 先svn up,保证更新到最新的版本, 如20; 2)然后用svn log,查看历史版本,找出要恢复的版本, 如10,如果想阅读全文

posted @ 2019-06-27 09:17 wy0925 阅读(6250) 评论(0) 推荐(0)

2019年6月26日

requests库 cookie和session

摘要： cookie 如果一个相应中包含了cookie，那么可以利用cookie属性拿到这个返回的cookie值： session 之前用urllib库，是可以使用opener发送多个请求，多个请求之间是可以共享cookie的，那么如果使用requests，也要达到共享cookie的目的，那么可以使用req 阅读全文

posted @ 2019-06-26 21:59 wy0925 阅读(793) 评论(0) 推荐(0)

requests库代理

摘要： import requests proxy = { 'http': '125.123.137.2208:9999' } res = requests.get('http://httpbin.org/ip', proxies=proxy) print(res.text) 阅读全文

posted @ 2019-06-26 21:49 wy0925 阅读(134) 评论(0) 推荐(0)

requests库GET

摘要：文档地址：http://docs.python-requests.org/zh_CN/latest/index.html 阅读全文

posted @ 2019-06-26 21:23 wy0925 阅读(162) 评论(0) 推荐(0)

Cookie信息保存到本地（MozillaCookieJar）

摘要：过期的cookie也能获取到阅读全文

posted @ 2019-06-26 17:49 wy0925 阅读(1186) 评论(0) 推荐(0)

爬虫模拟cookie自动登录（人人网自动登录）

摘要：什么是cookie？在网站中，HTTP请求时无状态的，也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是谁，cookie的出现就是为了解决这个问题，第一次登陆后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自阅读全文

posted @ 2019-06-26 17:36 wy0925 阅读(676) 评论(0) 推荐(0)

ProxyHandler处理器（代理设置）

摘要：很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等）如果访问次数多的不像正常人，他会禁止这个IP的访问，所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何阅读全文

posted @ 2019-06-26 10:12 wy0925 阅读(861) 评论(0) 推荐(0)

2019年6月25日

【实战】用request爬取拉勾网职位信息

摘要：避免请求太频繁方法阅读全文

posted @ 2019-06-25 16:14 wy0925 阅读(279) 评论(0) 推荐(0)

2019年6月21日

正则表达式

摘要： https://www.cnblogs.com/chuxiuhong/p/5885073.html 阅读全文

posted @ 2019-06-21 18:03 wy0925 阅读(73) 评论(0) 推荐(0)

urllib库

摘要： response 常ོ用ོ的ོ属ོ性ོ 爬ོ取ོ到ོ的ོ网ོ页ོ直ོ接ོ写ོ入ོ文ོ件ོ 模ོ拟ོ浏ོ览ོ器ོ 参ོ数ོ打ོ包ོ# 打包 import urllibparam = {'name': '王月'}print(urllib.parse.urlencode(param))结果：name=%E 阅读全文

posted @ 2019-06-21 16:45 wy0925 阅读(192) 评论(0) 推荐(0)