拿出一个404页面说事:
http://www.pinpaitong.com/html/news/20075/1282.htm
这个页面在服务器上确实不存在,于是我在网站的所有页面中搜索“1282.htm”,试图查找链接到该页面的其它页面,但没有查到任何页面。
有点奇怪了,google的蜘蛛是怎么爬到该页面的呢?
请高手过招!
Tag: google sitemap seo robots.txt