python的faker库批量生成User-Agent

前言

大网站都会有反爬机制,会通过检查请求头里是否带有user-agent来判断请求是否是爬虫。当但即使你加上user-agent后,频繁的使用同一个user-agent进行请求后,还是会触发反爬机制,所以就有了神奇的faker库

安装

pip install faker

例子

1 from faker import Factory
2 # 生成不同的user-agent
3 User_Agent = Factory.create()
4 for i in range(10):
5     print(User_Agent.user_agent())

实战

Faker库的实战例子可以看一下我这篇文章   Python爬虫增加CSDN博客访问量

posted @ 2020-04-22 11:10  秃秃的测试  阅读(1259)  评论(0)    收藏  举报