2019年10月25日
一些常用的爬虫技巧
摘要： 1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP；在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页， 如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行s 阅读全文
posted @ 2019-10-25 12:57 liubeibei123 阅读(409) 评论(1) 推荐(0) 编辑