搜索引擎抓取系统浅解及SEO指导【系列①】
摘要：
转载自：http://www.itseo.net/direction/show-150.html了解搜索引擎抓取网页过程有助于理清SEO工作方向，本文中笨鸟将结合网络、图书等资源及个人理解来探讨搜索引擎抓取过程及对SEO的指导意义。首先，看一下搜索引擎抓取的简要过程，如图： 上图简要的描绘了SE抓取过程原理，虽然在分布式信息采集中需要爬虫之间有通信，但针对单一爬虫大概过程便如图所示，下面针对每个步骤做解析：1、总链接库总链接库存放着爬虫曾经爬取过的URL及时刻新增的URL，由调度系统控制提取出新URL或需要重访的URL交由爬虫爬取。总链接库中存放的URL都是唯一不重复的，这样保... 阅读全文
posted @ 2014-04-11 21:44 阿杜0409 阅读(220) 评论(0) 推荐(0) 编辑
