python爬取网页时出现 unicode encode error:'utf-8' codec can't encode character

检查一下爬虫编码时设置的header 的Accept-Encoding 是否为gzip, deflate, br

简单解决可以把这个属性去掉

另外一种解决方式就是对其解码，先获取网页的响应头，通过Content-Encoding来判断是gzip还是br

br需要导入brotli包（需要下载）调用brotli.decompress（data）解码。

gzip需要导入gzip包，调用gzip.decompress（data）解码。