2018年7月31日
爬虫热身——性能相关
摘要： 单线程串行与多线程（进程）并行 单线程串行与多线程（进程）并行 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1. 单线程串行 2. 多线程 注：python2里没有线程池，只有python3里面有 +回调函数 # -*- codi 阅读全文
posted @ 2018-07-31 19:36 北风之神Sam 阅读(250) 评论(0) 推荐(0)
2018年7月30日
爬虫基础——示例：微信登陆收发消息
摘要： 原理 原理 1. URL https://wx.qq.com/ 1.1 获取uuid：https://login.wx.qq.com/jslogin?<（时间戳）> response 返回 ==> window.QRLogin.code = 200; window.QRLogin.uuid = "Q 阅读全文
posted @ 2018-07-30 15:14 北风之神Sam 阅读(521) 评论(0) 推荐(0)
爬虫基础——示例：登陆github
摘要： 原理 原理 1. 登陆github，获取csrf，cookie (c1)； 2. 发用post请求登陆，携带用户密码和csrf，cookie（c1），进行授权，并获取cookie（c2）； 3. 把c2更新到c1； 4. 携带c1可以访问后台 方法 方法 阅读全文
posted @ 2018-07-30 11:13 北风之神Sam 阅读(180) 评论(0) 推荐(0)
爬虫基础——示例：登陆抽屉并点赞
摘要： 原理 原理 1. 访问抽屉，获取获取cookie (c1)； 2. 登陆时候，携带cookie (c1)； 3. 点赞时候，携带cookie (c1)； 每一次发送请求，请求头必须设置 user-agent 方法一 方法一 方法二 方法二 阅读全文
posted @ 2018-07-30 10:44 北风之神Sam 阅读(238) 评论(0) 推荐(0)
爬虫基础——示例：汽车之家
摘要： # 爬取汽车之家新闻 图片 import requests from bs4 import BeautifulSoup response = requests.get( url="https://www.autohome.com.cn/news/" ) # response.encoding = "gbk" response.encoding = response.apparent... 阅读全文
posted @ 2018-07-30 10:38 北风之神Sam 阅读(179) 评论(0) 推荐(0)
爬虫基础——request模块和BeautifulSoup模块
摘要： 文章来自这里 request request Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 A 阅读全文
posted @ 2018-07-30 10:23 北风之神Sam 阅读(1990) 评论(0) 推荐(0)
2017年8月20日
python基础 函数 （四）
摘要： 一 函数基本 # 总结： # 返回值数：=0，返回None # 返回值数：=1，返回对象object # 返回值数：>1，返回元组 二 函数形参和实参 三 数组参数 四 字典参数 五 局部变量 和 全局变量 如果要在函数中修改全局变量，使用global 申明变量 # 注：只有数字，字符串 不能再函数 阅读全文
posted @ 2017-08-20 21:50 北风之神Sam 阅读(193) 评论(0) 推荐(0)
2017年8月14日
python基础第三课
摘要： 一 集合 1.1 集合的定义 1.2 交集 1.3 并集 1.4 差集 对称差集 1.5 子集 父集 1.6 添加 1.7 删除 1.8 长度 1.9 属于 1.10 复制 二 文件操作 文件yesterday在同级目录，内容为 越女采莲秋水畔，窄袖轻罗，暗露双金钏。照影摘花花似面，芳心只共丝争乱。 阅读全文
posted @ 2017-08-14 19:54 北风之神Sam 阅读(222) 评论(0) 推荐(0)
2017年8月13日
python基础第二课
摘要： 一 认识模块 1.1 sys 1.2 os 1.3 案例 把参数当作命令执行 二 自定义模块及pyc 2.1 自定义模块 注：test.py 必须放在环境变量的目录里，可使用print sys.path 查询，一般放在当前目录或者放在E:\Python36\Lib\site-packages 目录下 阅读全文
posted @ 2017-08-13 01:46 北风之神Sam 阅读(483) 评论(0) 推荐(0)
2017年8月11日
python基础第一课
摘要： 一 python第一个程序 二 变量 2.1 变量名称规则 变量名只能是 字母、数字或下划线的任意组合 变量名的第一个字符不能是数字 以下关键字不能声明为变量名 ['and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', ' 阅读全文
posted @ 2017-08-11 00:30 北风之神Sam 阅读(720) 评论(0) 推荐(0)