2020年10月26日
网络爬虫的新鲜性和过失性
摘要： 新鲜度：这是一个衡量抓取内容是不是准确的二元值。在时间t内，仓库中页面p的新鲜度是这样定义的： 新鲜度 过时性:这是一个衡量本地已抓取的内容过时程度的指标。在时间t时，仓库中页面p的时效性的定义如下： 过时性 在页面抓取中，新鲜度和过时性的发展 Coffman等人（Edward G. Coffman 阅读全文
posted @ 2020-10-26 20:40 Python锦河 阅读(194) 评论(0) 推荐(0)
实际的网络爬虫系统通常是几种爬虫技术相结合实现的。
摘要： 分类 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawl 阅读全文
posted @ 2020-10-26 19:13 Python锦河 阅读(1331) 评论(0) 推荐(0)
网络爬虫产生背景和面临的问题
摘要： 网络爬虫（又称为网页蜘蛛，网络机器人，在FOFA社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 产生背景 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大 阅读全文
posted @ 2020-10-26 15:55 Python锦河 阅读(2552) 评论(0) 推荐(0)