导航

2006年11月21日

搜索引擎指南robots.txt文件

摘要： 我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签... 阅读全文

posted @ 2006-11-21 11:30 cowboy 阅读(257) 评论(0) 推荐(0) 编辑

Google SiteMap的作用及协议格式详解

摘要： Google SiteMap Protocol是Google自己推出的一种站点地图协议，此协议文件基于早期的robots.txt文件协议，并有所升级。在Google官方指南中指出加入了Google SiteMap文件的网站将更有利于Google网页爬行机器人的爬行索引，这样将提高索引网站内容的效率和准确度。文件协议应用了简单的XML格式，一共用到6个标签，其中关键标签包括链接地址、更新时间、更新频... 阅读全文

posted @ 2006-11-21 11:23 cowboy 阅读(606) 评论(0) 推荐(0) 编辑