2018年7月30日
爬虫基础——示例：微信登陆收发消息
摘要： 原理 原理 1. URL https://wx.qq.com/ 1.1 获取uuid：https://login.wx.qq.com/jslogin?<（时间戳）> response 返回 ==> window.QRLogin.code = 200; window.QRLogin.uuid = "Q 阅读全文
posted @ 2018-07-30 15:14 北风之神Sam 阅读(521) 评论(0) 推荐(0)
爬虫基础——示例：登陆github
摘要： 原理 原理 1. 登陆github，获取csrf，cookie (c1)； 2. 发用post请求登陆，携带用户密码和csrf，cookie（c1），进行授权，并获取cookie（c2）； 3. 把c2更新到c1； 4. 携带c1可以访问后台 方法 方法 阅读全文
posted @ 2018-07-30 11:13 北风之神Sam 阅读(180) 评论(0) 推荐(0)
爬虫基础——示例：登陆抽屉并点赞
摘要： 原理 原理 1. 访问抽屉，获取获取cookie (c1)； 2. 登陆时候，携带cookie (c1)； 3. 点赞时候，携带cookie (c1)； 每一次发送请求，请求头必须设置 user-agent 方法一 方法一 方法二 方法二 阅读全文
posted @ 2018-07-30 10:44 北风之神Sam 阅读(238) 评论(0) 推荐(0)
爬虫基础——示例：汽车之家
摘要： # 爬取汽车之家新闻 图片 import requests from bs4 import BeautifulSoup response = requests.get( url="https://www.autohome.com.cn/news/" ) # response.encoding = "gbk" response.encoding = response.apparent... 阅读全文
posted @ 2018-07-30 10:38 北风之神Sam 阅读(179) 评论(0) 推荐(0)
爬虫基础——request模块和BeautifulSoup模块
摘要： 文章来自这里 request request Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 A 阅读全文
posted @ 2018-07-30 10:23 北风之神Sam 阅读(1990) 评论(0) 推荐(0)