python爬虫之如何随机更换User-Agent

这是python里面的一个useragent池，非常好用！具体怎么用呢？

首先，安装fake-useragent

    pip install fake-useragent

然后，使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意，有些网站可能会根据user-agent来封IP，也就是说他们会根据同一个IP下，如果是很多个不同user-agent在访问，那么，此时，他们就会判定为爬虫。

对应策略的话可以架构一个ip代理池配合UA使用。