2017年9月1日

摘要： 此时，我们已经成功实现了一个网页的爬取，如何将获得的网页以网页的形式保存到本地呢？思路如下：1 首先爬取到一个网页并将爬取到的内容读取出来赋值给一个变量2 以写的方式打开一个本地文件，命名为*.html等网页格式3 将1 中变量的值写入该文件中。4 关闭该文件所以我们刚才已经成功获取到了百度首页的内 阅读全文

摘要： 要使用Urllib爬取网页，首先需要导入用到的对应模块，所以，我们可以输入如下代码导入urllib，是在python2.7写的代码import urllibimport urllib2导入代码之后，我们需要使用urllib2.request打开并爬取一个网页，此时，可以输入如下代码爬取百度首页，爬取 阅读全文

摘要： 第4章　Urllib库与URLError异常处理urllib库是python中一个功能强大、用于操作url，并在爬虫的时候经常用到的库。在python2.x中，分urllib库和urllib2库，python3.x之后合并到urllib库中，使用方法稍有不同。而讲解主要以python3进行 这个模块 阅读全文

摘要： 在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。那么，爬虫应该如何告知网站站长自己的身份呢？一般来说，爬虫在对网页进行爬取访问的时候，会通过HTT 阅读全文

摘要： 在搜索引擎中，爬虫爬取了对应的网页之后，会将网页存储到服务器的原始数据库中，之后搜索引擎会对这些网页进行分析并确定各网页的重要性，即会影响用户的检索的排名结果。对于这些重要性的确定及排名结果的确定需要算法来解决，所以先来了解一下算法。搜索引擎的网页分析算法主要分为3类：基于用户行为的网页分析算法、基 阅读全文

摘要： 一个网站的网页经常会更新，作为爬虫方，在网页更新后，则需要我们对这些网页进行重新爬取，而如何把握恰当的爬取时间呢，若网站更新过慢，则必然会增加爬虫与网站服务器的压力，而如果更新较快，但是爬虫间隔时间较长，那么爬取的内容版本则会过老，不利于新内容的爬取。所以要把握好网站更新频率与爬虫访问网站的频率越接 阅读全文