随笔分类 -  用python写网络爬虫

摘要：通过之前的学习，我们编写了两个基本的爬虫。但对于一些内容大的网站，我们就需要对其进行跟踪链接，利用正则表达式来确定需要下载的页面。1.正则表达式 下载链接 ，其中 urlparse 模块用来实现相对路径转换成绝对路径，通过一个 import reimport urlparse def link_cr 阅读全文

摘要：我们在访问网站的时候，发现有些网页ID 是按顺序排列的数字，这个时候我们就可以使用ID遍历的方式来爬取内容。但是局限性在于有些ID数字在10位数左右，那么这样爬取效率就会很低很低！import itertoolsfrom common import downloaddef iteration(): 阅读全文

摘要：以下定义了一个网站地图爬虫， 阅读全文

摘要：本文从最简单的爬虫开始，通过添加检测下载错误，设置用户代理，设置网络代理，逐渐完善爬虫功能 。首先 说明一下代码的使用方法 ：在python2.7 环境下，用命令行也可以，用Pycharm编辑也可以。通过定义函数，然后引用函数完成网页抓取例如 ： download （”HTTP：//www.baid 阅读全文