爬虫需要登陆怎么办？这份python登陆代码请收下

模拟登陆思路

 

通过selenium中的webdriver控制浏览器登录目标网站，然后获取模拟登陆需要的Cookie，再利用此Cookie来达到登录的效果。本次我们使用webdriver来驱动火狐浏览器插件。在登录网站时，cookie保存在发起请求的客户端中，网站服务器利用cookie来区分不同的客户端。cookie里面记录了“访问登录后才能看到的页面”这一行为的信息，含有能够向服务器证明：“我刚才登录过”。因此cookie可以用来标识客户端的身份，以存储它的信息。

登录步骤

导入模块

 

from selenium import webdriver
import requests
import json

 

启动浏览器

通过webdriver驱动火狐浏览器，然后在加载将要访问的目标网站

 

driver = webdriver.Firefox()
driver.get('目标网站')

 

点击登录

找到网页中登录按钮所在的位置，通过浏览器模拟点击打开登录框，然后找到用户名和密码框的位置，输入用户名及密码，在寻找按钮以及密码输入框时可鼠标右键然后找到“查看元素”选项，点击之后可在网页源码中寻找。

代码如下：

 

#清空登录框
driver.find_element_by_xpath("./*//input[@name='username']").clear()
#自动填入登录用户名
driver.find_element_by_xpath("./*//input[@name='username']").send_keys(user)
#清空密码框
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自动填入登录密码
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)
time.sleep(8)
#点击登录按钮进行登录
driver.find_element_by_xpath("./*//button[@name='loginsubmit']").click()
time.sleep(10)

 

记录cookie

经过上面几步，如果没有报错的话就说明已经登录成功了，接下来我们再次加载网页获取登录cookie。

代码如下：

driver.get('目标网站')
#获取cookies
cookie_items = driver.get_cookies()
for cookie_item in cookie_items:
    post[cookie_item['name']] = cookie_item['value']
cookie_str = json.dumps(post)
with open('cookie.txt', 'w', encoding='utf-8') as f:
    f.write(cookie_str)
f.close()

通过cookie登录

获得cookie之后，模拟登陆就跟之前一样用requests请求网站，只需要将cookie内容加到请求中即可。

代码如下：

 

header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64;rv:53.0) Gecko/20100101 Firefox/53.0"}
with open('cookie.txt', 'r', encoding='utf-8') as f:
    cookie = f.read()
cookies = json.loads(cookie)
res = requests.get(url=url, cookies=cookies, headers=header)

 

对于有些网站来说，cookie的生命期较长，所以在第一次登陆获取cookie后，在以后模拟登陆时只需要调用此cookie即可，十分方便。

具体代码如下：

 

from selenium import webdriver
import time
import json
 
user="用户名"
password="密码"
 
driver = webdriver.Firefox()
driver.get('目标网站')
time.sleep(5)
driver.find_element_by_xpath("./*//button[@type='submit']").click()
print("正在输入用户名和密码")
#清空登录框
driver.find_element_by_xpath("./*//input[@name='username']").clear()
#自动填入登录用户名
driver.find_element_by_xpath("./*//input[@name='username']").send_keys(user)
#清空密码框
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自动填入登录密码
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)
 
time.sleep(8)
#点击登录按钮进行登录
driver.find_element_by_xpath("./*//button[@name='loginsubmit']").click()
time.sleep(10)
driver.get('目标网站')
#获取cookies
cookie_items = driver.get_cookies()
 
#获取到的cookies是列表形式，将cookies转成json形式并存入本地名为cookie的文本中
for cookie_item in cookie_items:
    post[cookie_item['name']] = cookie_item['value']
cookie_str = json.dumps(post)
with open('cookie.txt', 'w', encoding='utf-8') as f:
    f.write(cookie_str)
f.close()
print("登录完成")