6.Session

用session去自动管理登录后的cookies。

Session可以理解成python中的微型无界面浏览器。

Session保存在服务器端。

 

一、登录时无验证码，后续操作的界面，依赖于登录后的cookies。 

思路：

1.定义 s = requests.session()

2.用s发请求完成登陆 r = s.post(url)

3.后续页面，用s发请求 r = s.get(url), 不需添加cookie=xxx

登陆前/登陆后/发送其他请求后，可以通过print(s.cookies)查看cookies

 

二、登录时有验证码，跳过登录的验证码。后续操作的界面，依赖于登录后的cookies。

a.获取到固定的cookies。 思路：

1.手动输入验证码登录，fiddler抓包查看登录后的页面（如：编辑页面），查看cookies

2.定义 s

　　s = requests.session()

　　print(s.cookies)  # 添加前打印，查看s中的cookies

3.将登陆后的cookies添加到s中 （目的：跳过验证码登录，不走登录）

　　c = requests.cookies.ReqeustsCookieJar()  #jar包

　　c.set(“name1”, “value1”)  #把cookies添加到jar包

　　c.set(“name2”, “value2”)

　　s.cookies.update(c)  #用c更新s，即将cookies添加到session中

　　print(s.cookies)  # 添加后打印，查看s中的cookies

4.后续页面的访问，用s发请求

　　r = s.get(url, verify=False)

#手动登录博客园，抓包获取固定的cookies
#  coding:utf-8
import requests
import urllib3
urllib3.disable_warnings()

def getCookies(s):
    print(s.cookies)
    c = requests.cookies.RequestsCookieJar()
    c.set(".CNBlogsCookie", "8E2155D62FCC34F65B9AD6")
    c.set(".Cnblogs.AspNetCore.Cookies", "CfDJ8DeHXSa1")
    s.cookies.update(c)
    print(s.cookies) 

def getHome(s):
    url = "https://home.cnblogs.com/u/XXXXXX/"
    r = s.get(url, verify=False)
    print(r.status_code)
    print(r.text)

if __name__ == "__main__":
    s = requests.session()
    getCookies(s)
    getHome(s)

b.自动获取浏览器cookies。 思路：

1.手动输入验证码登录，勾选保持登录，保证下一次打开浏览器，仍是登录状态

2.用selenium登录，加载浏览器缓存（配置文件）

3.访问网站首页，获取cookies

4.把cookies传给s

5.后续用s发请求

#手动登陆博客园，自动获取登录后的cookies，用s发请求访问后续接口
#  coding:utf-8
import requests
import urllib3
urllib3.disable_warnings()
from selenium import webdriver
import time

class BoKeYuan():
    # selenium加载配置项方法登录，跳过验证码，获取cookies
    def get_cookies(self):
        # firefox浏览器配置文件地址
        profile_directory = r"C:\Users\UserName\AppData\Roaming\Mozilla\Firefox\Profiles\kxvt7ebg.default"
        # 加载配置
        profile = webdriver.FirefoxProfile(profile_directory)
        # 启动浏览器配置
        driver = webdriver.Firefox(profile)

        driver.get("https://home.cnblogs.com/u/xxxxxx/")
        time.sleep(3)
        cookies = driver.get_cookies()  # 获取浏览器cookies
        print("selenium通过加载配置文件，跳过验证码登录，获取的cookies：", cookies)
        print("\n")
        time.sleep(1)
        driver.quit()
        return cookies

    # 更新获取到的cookies到s，后续接口都用s去发请求
    def update_cookies(self, s, cookies):
        print("更新前的cookies:", s.cookies)
        print("\n")
        c = requests.cookies.RequestsCookieJar() 
        for i in cookies:
            c.set(i["name"], i['value'])
        s.cookies.update(c)
        print("更新后的cookies", s.cookies, end="\n")
        print("\n")

    #访问首页
    def home_page(self, s):
        url = "https://home.cnblogs.com/u/xxxxxx/"
        h = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"
        }
        r = s.get(url, headers=h, verify=False)
        print(r.text)

if __name__ == "__main__":
    bky = BoKeYuan()
    cookies = bky.get_cookies()
    s = requests.session()
    bky.update_cookies(s, cookies)
    bky.home_page(s)

c.有万能验证码的，用selenium登录

 

三、Token

1.登录后访问一个登陆后的地址，如编辑页面，请求中没有带上cookie，可能就不是用cookie登录的，可能是用token登录的

2.Token不会保存到本地，是个动态的参数； cookie是保存到本地的

3.App用token比较多，网站用cookie比较多

4.典型的：返回的数据中有token=xxx；下一个请求，带上token参数

5.发请求时，token的位置，参照接口文档或抓包。可放在url中/header中/body中/cookies中

6.csrfToken和token一样，csrfToken可按token传参，csrfToken也可放在cookies中

 

四、登录时，防止重复提交的情况，头部需要传动态参数

1.按照上述一、二中的方法，执行登录脚本仍然不成功时，抓包对比

2.若访问登录地址后，抓包得到的头部中含动态参数，则执行登录脚本时，需要在headers中传动态参数

（用s.headers.update(h)更新session之后，后续用s.send()发的请求，由于s中已经带上了头部，因此 不用传参  headers=h）

注：动态参数若在html中，可通过bs4获取， 或通过正则表达式获取

实例：拉勾网登录，待补充