摘要：爬虫 常用爬虫爬取网页，但如果一直爬取会被ban掉，因此需要对爬虫进行一些改进反反爬 使用requests和beautifulsoup4构建爬虫，1.随机user agent；2.ip代理；4.cookie;3.爬取间隔 随机user agent requests的user agent通过heade 阅读全文