缓解爬虫ip被封的概率

1、设置爬虫爬取时间间隔

2、使用代理ip

3、利用分布式，让不同服务器上的爬虫随机抓取不同网站的数据，以延长同一个ip抓取同一网站url的频率。