2019年9月4日
爬虫——爬取Ajax动态加载网页
摘要： 常见的反爬机制及处理方式 1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访 阅读全文
posted @ 2019-09-04 19:49 凌逆战 阅读(8781) 评论(2) 推荐(6) 编辑