爬取网页做数据分析，遭遇反爬的规避方法

requests中所有能加的都加上了，一直是412错误。使用selenium打开网页为空白，下了个八爪鱼采集器尝试，也是打不开网页。IDM直接下载网页失败，手机端ADM下载网页失败，Firefox插件Downthemall下载网页失败

最后突发奇想使用chrome的Downthemall插件，可以批量添加任务，把所有网页下载下来，以供分析数据。