爬虫之验证码识别

验证码识别
反爬机制:
    验证码.识别验证码图片中的数据，用于模拟登陆操作。
识别验证码的操作:
    人工肉眼识别。(不推荐)
    第三方自动识别(推荐)
    超级鹰: https://www.chaojiying.com/
超级鹰的使用流程:
    注册用户
    登录:查询该用户是否还有剩余的题分
    创建一个软件:用户中心 -> 软件ID -> 新建一个软件 -> 提交(软件id和秘钥)
    下载示例代码:开发文档-> Python示例下载

实战:识别古诗文网登录页面中的验证码
    使用打码平台识别验证码的编码流程:
   　　将验证码图片进行本地下载
   　　调用平台提供的示例代码进行图片数据识别

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()

# 验证码识别
# 古诗文网
import requests
from lxml import etree
from CodeClass import Chaojiying_Client
# 封装一个验证码识别的函数
def get_code(filename,type):
    chaojiying = Chaojiying_Client("username", "password", '121212')  # 用户中心>>软件ID 生成一个替换 96001
    im = open(filename, 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return chaojiying.PostPic(im, type)["pic_str"]

if __name__ == '__main__':
    url = "https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx"
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    page_text = requests.get(url=url,headers=headers).text

    # 使用etree来解析网页数据
    tree = etree.HTML(page_text)
    img_src = 'https://so.gushiwen.cn' + tree.xpath("//img[@id='imgCode']/@src")[0]
    img_content = requests.get(url=img_src,headers=headers).content

    # 将验证码保存到了本地
    with open("./古诗文网验证码图片.jpg","wb") as f:
        f.write(img_content)
    print("验证码下载成功！")

    #使用超级鹰的验证码识别功能来进行验证码的识别
    code_text = get_code('古诗文网验证码图片.jpg',1902)
    print("识别的验证码为：", code_text)