2019年4月10日
python爬虫之如何随机更换User-Agent
摘要： python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装 阅读全文
posted @ 2019-04-10 10:58 BruceLong 阅读(1695) 评论(0) 推荐(0)