Loading

requests请求报字符编码异常信息

UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 17180: illegal multibyte sequence

这种问题一般是由于字符编码不一致造成的,经过搜索遇到此类问题的很多,但是解决办法都不是很理想,经过摸索最终得到这样一种解决方案。

import requests
import re

if __name__ == '__main__':
    url = 'https://www.2meinv.com/index-1.html'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'
    }
    response = requests.get(url=url, headers=headers).content.decode('utf-8')
    r = re.sub('\xa9', '', response)
    print(r)

posted @ 2021-06-08 14:35  Roc-xb  阅读(15)  评论(0)    收藏  举报

易微帮源码


易微帮官网